E-MapReduce:Custom Spark parameters

Paramètre

Description

Scénario

spark.emr.serverless.user.defined.jars

Ajoute les packages JAR téléchargés au classpath du pilote (driver) et des exécuteurs (executors) Serverless Spark.

• Versions de moteur prises en charge :

  • esr-4.x : esr-4.1.0 et versions ultérieures.

  • esr-3.x : esr-3.1.0 et versions ultérieures.

  • esr-2.x : esr-2.5.0 et versions ultérieures.

• Méthodes de téléchargement :

  • Pour les versions esr-4.2.0, esr-3.2.0, esr-2.6.0 et ultérieures :

    • Téléchargez les fichiers vers la section Artifacts dans Serverless Spark. Pour plus de détails, consultez la rubrique Gérer les fichiers.

      Dans l'onglet Managed File Directory, cliquez sur Copy Address dans la colonne Actions correspondant au fichier cible pour obtenir son chemin d'accès.

    • Téléchargez les fichiers vers OSS. Pour obtenir des instructions, consultez la rubrique téléchargement simple.

      Le format du chemin est le suivant : oss://path/to/file1.jar,oss://path/to/file2.jar.

  • Pour les versions antérieures à esr-4.2.0, esr-3.2.0 ou esr-2.6.0 : ces versions ne prennent en charge que les téléchargements vers OSS. Pour obtenir des instructions, consultez la rubrique téléchargement simple.

    Le format du chemin est le suivant : oss://path/to/file1.jar,oss://path/to/file2.jar.

Utilisez cette propriété pour ajouter des packages JAR personnalisés depuis OSS au pilote Spark et aux exécuteurs lorsque vous soumettez un job Spark via spark-submit, un job par lot ou l'opérateur Airflow Serverless Spark, ou lors de la création d'une session.

spark.emr.serverless.fusion

Indique si Fusion doit être activé pour une session ou un job par lot lancé par Kyuubi ou Livy. Valeurs possibles :

• false (par défaut) : désactive Fusion.

• true : active Fusion.

Définissez cette propriété dans la section Spark Configuration d'un job ou d'une session pour activer ou désactiver Fusion.

spark.emr.serverless.environmentId

Spécifie l'ID de l'environnement d'exécution pour les ressources de calcul.

Lors de la soumission de jobs Serverless Spark via Airflow ou spark-submit, utilisez cette propriété pour spécifier un environnement d'exécution disposant de bibliothèques tierces préinstallées.

spark.emr.serverless.network.service.name

Spécifie le nom d'une connexion réseau, qui permet aux ressources de calcul de communiquer avec des sources de données situées dans d'autres VPC.

Lors de la soumission d'un job Serverless Spark, utilisez une connexion réseau pour accéder aux sources de données situées dans d'autres réseaux Virtual Private Cloud (VPC).

spark.emr.serverless.excludedModules

Supprime les bibliothèques intégrées de Serverless Spark.

• Pour les versions esr-2.7.0, esr-3.3.0, esr-4.3.0 et ultérieures, vous pouvez supprimer les modules suivants : paimon,hudi,iceberg,delta,Celeborn,dlf,fusion,jindo,odps,mysql,doctor.

• Pour les versions esr-2.8.0, esr-3.4.0, esr-4.4.0 et ultérieures, vous pouvez également supprimer le module kafka.

Pour éviter les conflits avec les packages JAR personnalisés, supprimez les bibliothèques intégrées lorsque vous soumettez des jobs via la console Serverless Spark, spark-submit, un job par lot, l'opérateur Airflow Serverless Spark, Kyuubi ou Livy, ou lors de la création d'une session.

spark.emr.serverless.kyuubi.engine.queue

Spécifie le nom de la file d'attente de l'espace de travail dans laquelle s'exécutent les applications Spark lancées par Kyuubi.

Définissez ce paramètre dans le panneau de configuration Kyuubi ou spécifiez-le dans l'URL de connexion JDBC.

spark.emr.serverless.jr.timeout

Définit la durée d'exécution maximale d'un job en secondes. Le système termine automatiquement le job si cette durée est dépassée. La valeur par défaut est vide, ce qui signifie qu'aucune limite de délai n'est appliquée.

La valeur doit être un entier compris entre -1 et 2147483647. Une valeur de -1 ou 0 signifie qu'aucun délai d'expiration n'est défini.

Utilisez cette propriété pour définir un délai d'expiration pour un job lors de la soumission via la console Serverless Spark, spark-submit, un job par lot ou l'opérateur Airflow Serverless Spark.

spark.emr.serverless.fusion.enabled

Indique si le moteur d'accélération des données Fusion doit être activé pour une application Spark. Valeurs possibles :

• false (par défaut) : désactive Fusion.

• true : active Fusion.

Utilisez cette propriété pour activer ou désactiver l'accélération Fusion lors de la soumission de jobs via la console Serverless Spark, spark-submit, un job par lot ou l'opérateur Airflow Serverless Spark.

spark.emr.serverless.mount.nas.enabled

Indique si un répertoire NAS doit être monté sur le pilote Spark. Si cette option est activée, vous devez également spécifier le répertoire à monter à l'aide de la propriété spark.emr.serverless.mount.nas.volume.

• Versions de moteur prises en charge :

  • esr-4.x : esr-4.7.0 et versions ultérieures.

  • esr-3.x : esr-3.6.0 et versions ultérieures.

• Valeurs possibles :

  • false (par défaut) : désactive le montage.

  • true : active le montage.

Utilisez cette propriété pour monter un répertoire de fichiers NAS géré sur le pilote Spark lors de la soumission d'un job via la console Serverless Spark, spark-submit, un job par lot ou l'opérateur Airflow Serverless Spark. Une fois monté, le pilote peut lire et écrire dans le répertoire NAS.

spark.emr.serverless.mount.nas.volume

Spécifie l'ID du répertoire NAS géré à monter.

Versions de moteur prises en charge :

• esr-4.x : esr-4.7.0 et versions ultérieures.

• esr-3.x : esr-3.6.0 et versions ultérieures.

Utilisez cette propriété pour monter le répertoire de fichiers NAS géré spécifié lors de la soumission d'un job via la console Serverless Spark, spark-submit, un job par lot ou l'opérateur Airflow Serverless Spark.

spark.emr.serverless.mount.nas.executor

Indique si le répertoire NAS doit être monté sur tous les exécuteurs Spark.

• Versions de moteur prises en charge :

  • esr-4.x : esr-4.7.0 et versions ultérieures.

  • esr-3.x : esr-3.6.0 et versions ultérieures.

• Valeurs possibles :

  • false (par défaut) : désactive le montage.

  • true : active le montage.

Utilisez cette propriété pour monter un répertoire de fichiers NAS géré sur tous les exécuteurs Spark lors de la soumission d'un job via la console Serverless Spark, spark-submit, un job par lot ou l'opérateur Airflow Serverless Spark. Une fois monté, les exécuteurs peuvent lire et écrire dans le répertoire NAS.

spark.emr.serverless.mount.oss.enabled

Indique si un répertoire OSS doit être monté sur le pilote Spark.

Si cette option est activée, vous devez également spécifier le répertoire à monter à l'aide de la propriété spark.emr.serverless.mount.oss.volume. Valeurs possibles :

• false (par défaut) : désactive le montage.

• true : active le montage.

Utilisez cette propriété pour monter un répertoire de fichiers OSS géré sur le pilote Spark lors de la soumission d'un job via la console Serverless Spark, spark-submit, un job par lot ou l'opérateur Airflow Serverless Spark. Une fois monté, le pilote peut lire et écrire dans le répertoire OSS.

spark.emr.serverless.mount.oss.volume

Spécifie l'ID du répertoire OSS géré à monter.

Utilisez cette propriété pour monter le répertoire de fichiers OSS géré spécifié lors de la soumission d'un job via la console Serverless Spark, spark-submit, un job par lot ou l'opérateur Airflow Serverless Spark.

spark.emr.serverless.mount.oss.executor

Indique si un répertoire OSS doit être monté sur tous les exécuteurs Spark. Valeurs possibles :

• false (par défaut) : désactive le montage.

• true : active le montage.

Utilisez cette propriété pour monter un répertoire de fichiers OSS géré sur tous les exécuteurs Spark lors de la soumission d'un job via la console Serverless Spark, spark-submit, un job par lot ou l'opérateur Airflow Serverless Spark. Une fois monté, les exécuteurs peuvent lire et écrire dans le répertoire OSS.

spark.emr.serverless.templateId

Spécifie l'ID du modèle de configuration par défaut pour une application Spark. L'utilisation d'un modèle d'espace de travail prédéfini simplifie la configuration des paramètres lors de la soumission des jobs.

Vous pouvez trouver l'ID du modèle sur la page O&M Center > Configurations > Task Templates. Par exemple : TPL-2b3859f8c0c8439faddc22f223c8****.

Cette propriété est prise en charge uniquement lors de l'utilisation de spark-submit.

spark.emr.serverless.livy.config.mode

Contrôle l'utilisation des paramètres du fichier spark-defaults.conf configuré dans Livy Gateway lors de la soumission d'un job Spark.

• Si ce paramètre n'est pas défini (par défaut), Livy Gateway charge et applique automatiquement les paramètres du fichier spark-defaults.conf au job.

• Définissez la valeur sur ignore

  Si vous définissez ce paramètre sur ignore, les configurations du fichier spark-defaults.conf sont ignorées lors de la soumission d'un job Spark. Dans ce cas, le job utilise uniquement les paramètres de configuration que vous spécifiez explicitement ou les configurations Spark par défaut.

Lorsque vous devez personnaliser entièrement la configuration d'un job Spark, définissez ce paramètre sur ignore. Si vous souhaitez conserver le comportement de configuration par défaut de Livy Gateway, il n'est pas nécessaire de définir ce paramètre.

spark.emr.serverless.tag.xxxx

Ajoute un tag à un job par lot soumis via Livy, en utilisant le format spark.emr.serverless.tag.<key> <value>.

Filtrez ensuite les jobs par tag dans l'historique des jobs.