Livy Gateway configuration example - E-MapReduce - Centre de documentation Alibaba Cloud

Cette rubrique décrit en détail les fichiers et paramètres de configuration principaux de Livy afin de vous aider à configurer correctement Livy Gateway et à utiliser les fonctionnalités associées dans Alibaba Cloud EMR Serverless Spark.

spark-defaults.conf

Objectif

Le fichier spark-defaults.conf définit les paramètres par défaut des jobs Spark soumis via Livy Gateway. Lorsque vous créez des jobs ou des sessions batch Livy, ces valeurs par défaut s'appliquent automatiquement si aucun paramètre spécifique n'est explicitement défini.

Exemple de configuration

Voici quelques configurations courantes de paramètres par défaut.

spark.driver.cores 2
spark.driver.memory 7g
spark.dynamicAllocation.enabled true
spark.dynamicAllocation.initialExecutors 2
spark.dynamicAllocation.maxExecutors 100
spark.dynamicAllocation.minExecutors 1

Descriptions des paramètres :

spark.driver.cores et spark.driver.memory : définissent le nombre de cœurs CPU et la taille de la mémoire alloués au driver.
Paramètres liés à l'allocation dynamique des ressources :
- spark.dynamicAllocation.enabled=true : active l'allocation dynamique des ressources.
- spark.dynamicAllocation.minExecutors et spark.dynamicAllocation.maxExecutors : limitent respectivement le nombre minimal et maximal d'executors.
- spark.dynamicAllocation.initialExecutors : spécifie le nombre initial d'executors à allouer.

Paramètres améliorés pris en charge

Les paramètres améliorés pris en charge désignent des fonctionnalités supplémentaires ou des éléments de configuration étendus fournis par Alibaba Cloud EMR Serverless Spark pour renforcer la sécurité, la flexibilité ou les performances du système. Ces paramètres sont généralement conçus pour des scénarios spécifiques (tels que les environnements multi-locataires, la gestion des autorisations, etc.) afin d'aider les utilisateurs à mieux contrôler le comportement des tâches et l'allocation des ressources.

|
**Paramètre**
|
**Description**
| | --- | --- | |
`spark.livy.proxyUser`
|
Spécifie l'utilisateur proxy lors de la soumission des jobs Spark. La valeur par défaut est `root`.

Ce paramètre prend effet uniquement lorsque `livy.impersonation.enabled` dans `livy.conf` est défini sur `true`. Utilisé conjointement avec `spark-blacklist.conf`, il empêche les utilisateurs de modifier le paramètre `proxyUser`, garantissant ainsi la sécurité.
|

livy.conf

Objectif

Le fichier livy.conf constitue le fichier de configuration principal de Livy. Il définit le comportement global de Livy Gateway, notamment les méthodes d'authentification, les délais d'expiration et la gestion des sessions.

Paramètres clés

|
**Paramètre**
|
**Description**
| | --- | --- | |
`livy.impersonation.enabled`
|
Indique si les utilisateurs sont autorisés à emprunter l'identité d'utilisateurs Spark via le paramètre `proxyUser`. La valeur par défaut est `false`.
| |
`livy.server.session.timeout`
|
Délai d'expiration de la session. Les sessions inactives dépassant ce délai sont automatiquement fermées. La valeur par défaut est `2h`.
| |
`livy.server.session.timeout-check`
|
Active ou désactive la vérification des sessions expirées. La valeur par défaut est `true`.

Si cette option est définie sur `false`, les sessions ne sont pas automatiquement fermées même en cas d'expiration.
| |
`livy.server.session.timeout-check.skip-busy`
|
Indique s'il faut ignorer les sessions occupées lors de la vérification des sessions expirées. Si activé, les sessions exécutant des tâches ne sont pas fermées. La valeur par défaut est `true`.
| |
`livy.server.auth.type`
|
Spécifie la méthode d'authentification pour Livy Gateway. Par exemple, définissez la valeur sur `ldap` pour activer l'authentification LDAP.
| |
`livy.server.auth.ldap.url`
|
Adresse LDAP. Par exemple, `ldap://master-1-1.c-xxxxxxxxxxxxx.cn-hangzhou.emr.aliyuncs.com:10389`.
| |
`livy.server.auth.ldap.base-dn`
|
DN de base LDAP. Par exemple, `ou=people,o=emr`.
| |
`livy.server.auth.ldap.enable-start-tls`
|
Active ou désactive le chiffrement TLS pour LDAP. La valeur par défaut est `false`.
| |
`livy.server.auth.ldap.security-authentication`
|
Méthode d'authentification de sécurité LDAP. La valeur par défaut est `simple`.
| |
`livy.server.session.state-retain.sec`
|
Durée de conservation en mémoire des sessions terminées. La valeur par défaut est `600s`.
| |
`livy.server.session.max-creation`
|
Nombre maximal de sessions pouvant être créées simultanément. La valeur par défaut est `100`.
| |
`livy.server.session.user.max-creation`
|
Limite le nombre de sessions que chaque utilisateur peut créer. Ce paramètre prend effet uniquement lorsque `livy.impersonation.enabled` est défini sur `true`. Par exemple, `livy.server.session.user.max-creation {"alice": 6, "bob": 2, "default": 5}` signifie qu'Alice peut créer un maximum de six sessions simultanées, Bob un maximum de deux, et les autres utilisateurs un maximum de cinq.
|

livy-client.conf

Objectif

Le fichier livy-client.conf définit les paramètres d'exécution du client HTTP Livy, principalement utilisés pour optimiser les interactions entre le client et Livy Gateway.

Paramètres clés

|
**Paramètre**
|
**Description**
| | --- | --- | |
`livy.rsc.retained-statements`
|
Nombre maximal d'instructions conservées en mémoire de session. La valeur par défaut est 100.
| |
`livy.rsc.sql.num-rows`
|
Nombre maximal de lignes renvoyées par l'interpréteur SQL. La valeur par défaut est 1000.
|

spark-blacklist.conf

Objectif

Le fichier spark-blacklist.conf restreint les paramètres que les utilisateurs ne sont pas autorisés à remplacer dans les tâches soumises via Livy Gateway. Les paramètres figurant sur la liste noire sont systématiquement ignorés par le système et ne peuvent pas être modifiés par les utilisateurs.

Exemple de configuration

Voici quelques exemples de paramètres couramment mis sur liste noire.

spark.driver.cores
spark.driver.memory
spark.executor.cores
spark.executor.memory

Cette configuration empêche les utilisateurs de définir eux-mêmes les ressources (telles que les cœurs CPU et la taille de la mémoire) pour le driver et les executors Spark, évitant ainsi toute utilisation abusive des ressources.

Paramètres améliorés pris en charge

Le fichier spark-blacklist.conf prend également en charge les paramètres améliorés suivants pour renforcer davantage la sécurité et la stabilité des jobs.

|
**Paramètre**
|
**Description**
| | --- | --- | |
`spark.livy.ttl`
|
Empêche les utilisateurs de définir la durée de vie (TTL) des sessions.

Garantit une gestion uniforme de la TTL des sessions par les administrateurs, évitant le gaspillage de ressources ou l'interruption de tâches due à des réglages de TTL trop longs ou trop courts par les utilisateurs.
| |
`spark.livy.queue`
|
Empêche les utilisateurs de définir la file d'attente pour la soumission des jobs.

Tous les jobs utilisent la file d'attente par défaut de Livy Gateway, évitant ainsi une répartition inégale des ressources causée par une sélection arbitraire des files d'attente par les utilisateurs.
| |
`spark.livy.proxyUser`
|
Empêche les utilisateurs de définir l'utilisateur proxy. L'utilisateur root est utilisé par défaut.
|