Gérer les modèles de configuration Spark - E-MapReduce - Centre de documentation Alibaba Cloud

Les modèles de configuration Spark définissent les paramètres par défaut globaux des jobs. Créez, modifiez et gérez des modèles pour centraliser les configurations Spark et garantir une exécution cohérente et flexible des jobs.

Prérequis

Vous avez créé un espace de travail. Pour plus d'informations, consultez la rubrique Gérer les espaces de travail.

Créer un modèle de configuration

Accédez à la page de gestion des configurations.
1. Connectez-vous à la console E-MapReduce.
2. Dans le volet de navigation de gauche, sélectionnez EMR Serverless > Spark.
3. Sur la page Spark, cliquez sur le nom de l'espace de travail cible.
4. Sur la page EMR Serverless Spark, cliquez sur Configurations dans le volet de navigation de gauche.
Sur la page Task Templates, cliquez sur Create Template.

Sur la page Create Task Template, configurez les paramètres suivants, puis cliquez sur create.

Paramètre	Description
Template Name	Saisissez un nom pour le modèle.
Engine Version	Version du moteur de l'environnement de calcul. Pour plus d'informations, consultez la rubrique Versions du moteur.
Timeout Period	Durée d'exécution maximale d'un job. Remarque Lors de la soumission d'un job, vous pouvez remplacer le délai d'expiration du modèle en transmettant le paramètre `spark.emr.serverless.jr.timeout=-1` pour permettre une exécution illimitée.
spark.driver.cores	Nombre de cœurs CPU alloués au processus driver.
spark.driver.memory	Quantité de mémoire disponible pour le processus driver.
spark.executor.cores	Nombre de cœurs CPU alloués à chaque executor.
spark.executor.memory	Quantité de mémoire utilisable par chaque executor.
spark.executor.instances	Nombre d'executors alloués par Spark.
Dynamic Resource Allocation	Désactivé par défaut. Si cette option est activée, configurez les paramètres suivants : Minimum Number of Executors : la valeur par défaut est 2. Maximum Number of Executors : si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
More Memory Configurations	spark.driver.memoryOverhead : mémoire non heap (hors tas) disponible pour le driver. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur par défaut égale à `max(384 MB, 10 % * spark.driver.memory)`. spark.executor.memoryOverhead : mémoire non heap (hors tas) disponible pour chaque executor. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur par défaut égale à `max(384 MB, 10 % * spark.executor.memory)`. spark.memory.offHeap.size : quantité de mémoire off-heap disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre prend effet uniquement si `spark.memory.offHeap.enabled` est défini sur `true`. Avec le moteur Fusion, cette fonctionnalité est activée par défaut avec 1 Go de mémoire off-heap.
Spark Configuration	Propriétés de configuration Spark personnalisées. Séparez les paires clé-valeur par des espaces. Exemple : `spark.sql.catalog.paimon.metastore dlf`. EMR Serverless Spark fournit plusieurs paramètres intégrés spécifiques au service. Pour plus de détails, consultez la rubrique Paramètres Spark Conf personnalisés.

Une fois le modèle de configuration créé, vous pouvez le modifier ou le supprimer en cliquant sur Edit ou Delete dans la colonne Actions.

Utiliser un modèle de configuration

Développement de données

Lors du développement de jobs batch ou streaming via Load from template, sélectionnez un modèle de configuration existant dans la liste déroulante Load from template. Le système charge automatiquement les paramètres du modèle sélectionné.

CLI

Lors de la soumission d'un job avec spark-submit, spécifiez l'ID du modèle via le paramètre spark.emr.serverless.templateId dans l'option --conf. Le système charge les paramètres du modèle et les applique comme valeurs par défaut de l'application Spark.

Exemple :

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --conf spark.emr.serverless.templateId=<template_id> \
  /path/to/your/spark-job.jar

Dans la commande précédente, <template_id> correspond à l'ID du modèle. Vous pouvez obtenir cet ID sur la page Task Templates.

Passerelle Livy

Lors de la création d'une passerelle via Create Livy Gateway, sélectionnez un modèle de configuration existant dans la liste déroulante Load from template située dans le coin supérieur droit de la page. Le système charge automatiquement les paramètres du modèle sélectionné.

Passerelle Kyuubi

Lors de la création d'une passerelle via Create Kyuubi Gateway, sélectionnez un modèle de configuration existant dans la liste déroulante Load from template située dans le coin supérieur droit de la page. Le système charge automatiquement les paramètres du modèle sélectionné.

Rétablir les paramètres par défaut du système

Pour rétablir les paramètres par défaut du système dans un modèle de configuration :

Sur l'onglet Task Templates, cliquez sur Edit dans la colonne Actions.
Sur la page Edit Task Template, cliquez sur Reset to system defaults en bas de la page, puis cliquez sur Save Changes.

Modifier le modèle par défaut

Pour définir un autre modèle de configuration comme modèle par défaut :

Sur la page Task Templates, cliquez sur Set as default dans la colonne Actions.
Dans la boîte de dialogue qui s'affiche, cliquez sur OK.