Manage Spark configuration templates - E-MapReduce - Centre de documentation Alibaba Cloud

Les modèles de configuration Spark définissent les paramètres globaux par défaut des tâches. Créez, modifiez et gérez ces modèles pour centraliser la configuration Spark et garantir une exécution cohérente et flexible des tâches.

Prérequis

Vous avez créé un espace de travail. Pour plus d'informations, consultez la rubrique Gérer les espaces de travail.

Créer un modèle de configuration

Accédez à la page de gestion des configurations.
1. Connectez-vous à la console E-MapReduce.
2. Dans le volet de navigation de gauche, choisissez EMR Serverless > Spark.
3. Sur la page Spark, cliquez sur le nom de l'espace de travail cible.
4. Sur la page EMR Serverless Spark, cliquez sur Configurations dans le volet de navigation de gauche.
Sur la page Task Templates, cliquez sur Create Template.

Sur la page Create Task Template, configurez les paramètres suivants et cliquez sur create.

Paramètre	Description
Template Name	Saisissez un nom pour le modèle.
Engine Version	Version du moteur pour l'environnement de calcul. Pour plus d'informations, consultez la rubrique Versions du moteur.
Timeout Period	Durée d'exécution maximale d'une tâche. Remarque Lors de la soumission d'une tâche, vous pouvez remplacer le délai d'expiration du modèle en transmettant le paramètre `spark.emr.serverless.jr.timeout=-1` afin de permettre une exécution illimitée.
spark.driver.cores	Nombre de cœurs CPU alloués au processus driver.
spark.driver.memory	Quantité de mémoire disponible pour le processus driver.
spark.executor.cores	Nombre de cœurs CPU alloués à chaque executor.
spark.executor.memory	Quantité de mémoire utilisable par chaque executor.
spark.executor.instances	Nombre d'executors alloués par Spark.
Dynamic Resource Allocation	Désactivé par défaut. Si vous l'activez, configurez les paramètres suivants : Minimum Number of Executors : la valeur par défaut est 2. Maximum Number of Executors : si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
More Memory Configurations	spark.driver.memoryOverhead : mémoire non heap (hors tas) disponible pour le driver. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur selon la formule par défaut : `max(384 MB, 10 % * spark.driver.memory)`. spark.executor.memoryOverhead : mémoire non heap (hors tas) disponible pour chaque executor. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur selon la formule par défaut : `max(384 MB, 10 % * spark.executor.memory)`. spark.memory.offHeap.size : quantité de mémoire off-heap (hors tas) disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre ne s'applique que si `spark.memory.offHeap.enabled` est défini sur `true`. Avec le moteur Fusion, cette fonctionnalité est activée par défaut avec 1 Go de mémoire off-heap.
Spark Configuration	Propriétés de configuration Spark personnalisées. Séparez les paires clé-valeur par des espaces. Exemple : `spark.sql.catalog.paimon.metastore dlf`. EMR Serverless Spark propose plusieurs paramètres intégrés spécifiques au service. Pour plus de détails, consultez la rubrique Paramètres Spark Conf personnalisés.

Une fois le modèle de configuration créé, vous pouvez le modifier ou le supprimer en cliquant sur Edit ou Delete dans la colonne Actions.

Utiliser un modèle de configuration

Développement de données

Lors du développement de tâches par lots ou en continu via Load from template, sélectionnez un modèle de configuration existant dans la liste déroulante Load from template. Le système charge automatiquement les paramètres du modèle sélectionné.

CLI

Lors de la soumission d'une tâche avec spark-submit, spécifiez l'ID du modèle via le paramètre spark.emr.serverless.templateId dans l'option --conf. Le système charge les paramètres du modèle et les applique comme valeurs par défaut à l'application Spark.

Exemple :

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --conf spark.emr.serverless.templateId=<template_id> \
  /path/to/your/spark-job.jar

Dans la commande précédente, <template_id> représente l'ID du modèle. Vous pouvez récupérer cet ID sur la page Task Templates.

Passerelle Livy

Lors de la création d'une Create Livy Gateway, sélectionnez un modèle de configuration existant dans la liste déroulante Load from template située dans le coin supérieur droit de la page. Le système charge automatiquement les paramètres du modèle sélectionné.

Passerelle Kyuubi

Lors de la création d'une Create Kyuubi Gateway, sélectionnez un modèle de configuration existant dans la liste déroulante Load from template située dans le coin supérieur droit de la page. Le système charge automatiquement les paramètres du modèle sélectionné.

Réinitialiser aux valeurs par défaut du système

Pour rétablir les valeurs par défaut du système dans un modèle de configuration :

Sur l'onglet Task Templates, cliquez sur Edit dans la colonne Actions.
Sur la page Edit Task Template, cliquez sur Reset to system defaults en bas de la page, puis sur Save Changes.

Modifier le modèle par défaut

Pour définir un autre modèle de configuration comme modèle par défaut :

Sur la page Task Templates, cliquez sur Set as default dans la colonne Actions.
Dans la boîte de dialogue qui s'affiche, cliquez sur OK.