Developing batch or streaming tasks - E-MapReduce - Centre de documentation Alibaba Cloud

Cette rubrique décrit les éléments de configuration et la procédure à suivre pour développer une tâche par lots ou en continu.

Prérequis

Un espace de travail a été créé. Pour plus d'informations, consultez la page Gérer les espaces de travail.

Instructions

Lisez le contenu en anglais pour comprendre CE qui doit être communiqué
Rédigez le texte en français À PARTIR DE ZÉRO — oubliez la structure des phrases anglaises
Conservez exactement tout le formatage Markdown, les blocs de code, les liens et les images
Balises xref (<a data-tag="xref" ...>texte</a>) — conservez la balise ENTIERE avec tous ses attributs dans l'ordre et la casse d'origine, traduisez UNIQUEMENT le texte visible entre > et
Appliquez strictement toutes les règles linguistiques spécifiques
Appliquez les règles relatives aux termes figés avec une tolérance zéro
Utilisez l'impératif dans les étapes numérotées et les listes à puces procédurales
Assurez la cohérence terminologique — un même terme doit toujours avoir la même traduction
Variez les débuts de phrase dans les listes et les tableaux — aucun début ne doit être répété plus de 2 fois

Renvoyez UNIQUEMENT le document Markdown en français, sans explication

Procédure

Accédez à la page Développement des données.
1. Connectez-vous à la console E-MapReduce.
2. Dans le volet de navigation de gauche, choisissez EMR Serverless > Spark.
3. Sur la page Spark, cliquez sur le nom de l'espace de travail cible.
4. Sur la page EMR Serverless Spark, cliquez sur Development dans le volet de navigation de gauche.

Créez une tâche.

Sous l'onglet Development, cliquez sur l'icône .
Dans la boîte de dialogue, saisissez un Name, sélectionnez un type de tâche par lot ou en continu, puis cliquez sur OK.
Dans le coin supérieur droit, sélectionnez une file d'attente de ressources.

Dans l'éditeur de la nouvelle tâche, modifiez les paramètres en fonction du type de votre tâche.

JAR

Paramètre	Description
Main JAR Resource	Le package JAR principal requis pour exécuter la tâche. Workspace : fichiers que vous avez précédemment téléchargés sur la page Artifacts. OSS : fichier stocké dans Alibaba Cloud Object Storage Service (OSS).
Engine Version	La version de Spark. Pour plus d'informations, consultez Versions du moteur.
Classe principale	La classe principale spécifiée lors de la soumission de la tâche Spark.
Execution Parameters	Éléments de configuration requis pendant l'exécution de la tâche ou paramètres personnalisés transmis à la classe principale. Séparez plusieurs paramètres par des espaces.
Timeout	Durée maximale autorisée pour l'achèvement de cette tâche. Si la tâche s'exécute au-delà de ce seuil, le système l'arrête automatiquement. La valeur par défaut est vide, ce qui signifie qu'aucune limite de délai n'est définie.
Network Connection	Une connexion réseau existante permettant d'accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, consultez Connectivité réseau entre EMR Serverless Spark et d'autres VPC.
Mount Integrated File Directory	Désactivé par défaut. Pour utiliser cette fonctionnalité, ajoutez un répertoire de fichiers sur la page Artifacts, sous l'onglet Integrated File Directory. Pour plus d'informations, consultez Gestion du répertoire de fichiers intégré. L'activation de cette fonctionnalité monte le répertoire de fichiers géré sur l'application, ce qui lui permet de lire et d'écrire directement dans les fichiers du répertoire. L'opération de montage consomme des ressources de calcul du pilote. Le montant consommé correspond à la valeur la plus élevée parmi les deux suivantes : Ressources fixes : 0,3 vCPU + 1 Go de mémoire. Ressources dynamiques : 10 % des ressources `spark.driver` (c'est-à-dire 10 % des cœurs et de la mémoire de `spark.driver`). Par exemple, si `spark.driver` est configuré avec 4 cœurs et 8 Go de mémoire, les ressources dynamiques sont de 0,4 vCPU + 0,8 Go de mémoire. Dans ce cas, les ressources réellement consommées sont `max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB)`, soit 0,4 vCPU + 1 Go de mémoire. Remarque Portée du montage : par défaut, le répertoire de fichiers est monté uniquement sur le pilote. Pour le monter également sur les exécuteurs, activez Mount to Executor. Plusieurs répertoires : vous pouvez monter plusieurs répertoires de fichiers intégrés. Toutefois, les répertoires CPFS ne peuvent pas être utilisés conjointement avec d'autres types. Par exemple, vous pouvez monter ensemble plusieurs répertoires OSS et NAS, mais vous ne pouvez pas monter CPFS avec des répertoires OSS ou NAS. Exigences réseau : lorsque vous montez un répertoire de fichiers NAS ou CPFS, vous devez configurer une connexion réseau. Le VPC de la connexion réseau doit être identique au VPC de la cible de montage NAS ou CPFS.
Mount to Executor	L'activation de cette fonctionnalité monte le répertoire de fichiers géré sur les exécuteurs de l'application, ce qui leur permet de lire et d'écrire directement dans les fichiers du répertoire. Cette opération de montage consomme des ressources d'exécuteur. La quantité de ressources consommées varie en fonction de l'utilisation des fichiers montés.
File Resources	Lorsque vous soumettez la tâche, les fichiers spécifiés par le paramètre `--files` sont copiés dans le répertoire de travail de l'exécuteur. Cela garantit que la tâche Spark peut accéder à ces fichiers au moment de l'exécution. Vous pouvez sélectionner des fichiers depuis Workspace ou OSS.
Archive Resources	Lorsque vous soumettez la tâche, les fichiers spécifiés par le paramètre `--archives` sont décompressés et distribués aux objets archivés sur l'exécuteur. Vous pouvez sélectionner des archives depuis Workspace ou OSS.
JAR Resources	Lorsque vous soumettez la tâche, spécifiez les fichiers de dépendance JAR requis à l'aide du paramètre `--jars`. Vous pouvez sélectionner des fichiers JAR depuis Workspace ou OSS.
spark.driver.cores	Nombre de cœurs CPU utilisés par le pilote dans l'application Spark.
spark.driver.memory	Quantité de mémoire disponible pour le pilote dans l'application Spark.
spark.executor.cores	Nombre de cœurs CPU virtuels utilisés par chaque exécuteur dans l'application Spark.
spark.executor.memory	Quantité de mémoire disponible pour chaque exécuteur dans l'application Spark.
spark.executor.instances	Nombre d'exécuteurs alloués par Spark.
Dynamic Resource Allocation	Désactivé par défaut. Lorsqu'il est activé, configurez les paramètres suivants : Minimum Number of Executors : la valeur par défaut est 2. Maximum Number of Executors : si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
More Memory Configurations	spark.driver.memoryOverhead : mémoire hors tas disponible pour le pilote. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur basée sur la valeur par défaut, qui est `max(384 MB, 10 % * spark.driver.memory)`. spark.executor.memoryOverhead : mémoire hors tas disponible pour chaque exécuteur. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur basée sur la valeur par défaut, qui est `max(384 MB, 10 % * spark.executor.memory)`. spark.memory.offHeap.size : quantité de mémoire hors tas disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre prend effet uniquement lorsque `spark.memory.offHeap.enabled` est défini sur `true`. Lorsque le moteur Fusion est utilisé, cette fonctionnalité est activée par défaut avec 1 Go de mémoire hors tas.
Spark Configuration	Saisissez les informations de configuration Spark. Séparez les paires clé-valeur par un espace. Par exemple, `key value`.
Tags	Saisissez des paires clé-valeur pour les tags. Les tags vous aident à gérer les tâches avec plus de commodité et de précision.

PySpark

Paramètre	Description
Main Python Resources	Le fichier Python principal requis pour exécuter la tâche. Workspace : fichier que vous avez téléchargé sur la page Artifacts. OSS : fichier stocké dans Object Storage Service (OSS).
Engine Version	La version de Spark. Pour plus d'informations, consultez Versions du moteur.
Execution Parameters	Éléments de configuration requis pendant l'exécution de la tâche ou paramètres personnalisés transmis à la classe principale.
Timeout	Durée maximale autorisée pour l'achèvement de cette tâche. Si la tâche s'exécute au-delà de ce seuil, le système l'arrête automatiquement. La valeur par défaut est vide, ce qui signifie qu'aucune limite de délai n'est définie.
Environment	Les ressources requises pour exécuter la tâche sont préconfigurées en fonction de l'environnement sélectionné.
Network Connection	Une connexion réseau existante permettant d'accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, consultez Connectivité réseau entre EMR Serverless Spark et d'autres VPC.
Mount Integrated File Directory	Désactivé par défaut. Pour utiliser cette fonctionnalité, ajoutez un répertoire de fichiers sur la page Artifacts, sous l'onglet Integrated File Directory. Pour plus d'informations, consultez Gestion du répertoire de fichiers intégré. Lorsqu'elle est activée, cette fonctionnalité monte le répertoire de fichiers géré sur la tâche, permettant un accès direct en lecture et en écriture aux fichiers du répertoire. L'opération de montage consomme des ressources de calcul du pilote. Le montant consommé correspond à la valeur la plus élevée parmi les deux suivantes : Ressources fixes : 0,3 vCPU + 1 Go de mémoire. Ressources dynamiques : 10 % des ressources `spark.driver` (c'est-à-dire 10 % des cœurs et de la mémoire de `spark.driver`). Par exemple, si `spark.driver` est configuré avec 4 cœurs et 8 Go de mémoire, les ressources dynamiques sont de 0,4 vCPU + 0,8 Go de mémoire. Dans ce cas, les ressources réellement consommées sont `max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB)`, soit 0,4 vCPU + 1 Go de mémoire. Remarque Portée du montage : par défaut, le répertoire de fichiers est monté uniquement sur le pilote. Pour le monter également sur les exécuteurs, activez Mount to Executor. Plusieurs répertoires : vous pouvez monter plusieurs répertoires de fichiers intégrés. Toutefois, les répertoires CPFS ne peuvent pas être utilisés conjointement avec d'autres types. Par exemple, vous pouvez monter ensemble plusieurs répertoires OSS et NAS, mais vous ne pouvez pas monter CPFS avec des répertoires OSS ou NAS. Exigences réseau : lorsque vous montez un répertoire de fichiers NAS ou CPFS, vous devez configurer une connexion réseau. Le VPC de la connexion réseau doit être identique au VPC de la cible de montage NAS ou CPFS.
Mount to Executor	Lorsqu'elle est activée, cette fonctionnalité monte le répertoire de fichiers géré sur les exécuteurs de la tâche, leur permettant un accès direct en lecture et en écriture aux fichiers du répertoire. Cette opération de montage consomme des ressources d'exécuteur. Le pourcentage de ressources consommées varie en fonction de l'utilisation des fichiers montés.
File Resources	Liste des fichiers à distribuer à tous les nœuds exécuteurs du cluster. Pour le type de ressource, vous pouvez sélectionner Workspace ou OSS.
Pyfiles Resources	Lorsque vous soumettez la tâche, les fichiers spécifiés par le paramètre `--py-files` sont distribués en tant que fichiers de dépendance Python. Pour le type de ressource, vous pouvez sélectionner Workspace ou OSS.
Archive Resources	Lorsque vous soumettez la tâche, les fichiers spécifiés par le paramètre `--archives` sont décompressés et distribués aux objets archivés sur l'exécuteur. Pour le type de ressource, vous pouvez sélectionner Workspace ou OSS.
JAR Resources	Lorsque vous soumettez la tâche, spécifiez les fichiers de dépendance JAR requis à l'aide du paramètre `--jars`. Pour le type de ressource, vous pouvez sélectionner Workspace ou OSS.
spark.driver.cores	Nombre de cœurs CPU utilisés par le pilote dans l'application Spark.
spark.driver.memory	Quantité de mémoire disponible pour le pilote dans l'application Spark.
spark.executor.cores	Nombre de cœurs CPU virtuels utilisés par chaque exécuteur dans l'application Spark.
spark.executor.memory	Quantité de mémoire disponible pour chaque exécuteur dans l'application Spark.
spark.executor.instances	Nombre d'exécuteurs alloués par Spark.
Dynamic Resource Allocation	Désactivé par défaut. Lorsqu'il est activé, configurez les paramètres suivants : Minimum Number of Executors : la valeur par défaut est 2. Maximum Number of Executors : si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
More Memory Configurations	spark.driver.memoryOverhead : mémoire hors tas disponible pour le pilote. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur basée sur la valeur par défaut, qui est `max(384 MB, 10 % * spark.driver.memory)`. spark.executor.memoryOverhead : mémoire hors tas disponible pour chaque exécuteur. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur basée sur la valeur par défaut, qui est `max(384 MB, 10 % * spark.executor.memory)`. spark.memory.offHeap.size : quantité de mémoire hors tas disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre prend effet uniquement lorsque `spark.memory.offHeap.enabled` est défini sur `true`. Lorsque le moteur Fusion est utilisé, cette fonctionnalité est activée par défaut avec 1 Go de mémoire hors tas.
Spark Configuration	Saisissez les informations de configuration Spark. Séparez les paires clé-valeur par un espace. Par exemple, `key value`.
Tags	Saisissez des paires clé-valeur pour les tags. Les tags vous aident à gérer les tâches avec plus de commodité et de précision.

SQL

Paramètre	Description
SQL File	Fichier requis lors de la soumission de la tâche. Workspace : fichier de la page Artifacts. OSS : fichier d'Alibaba Cloud OSS. Execute Statement : exécutez directement des instructions SQL sans télécharger de fichier.
Engine Version	La version de Spark. Pour plus d'informations, consultez Versions du moteur.
Timeout	Durée maximale autorisée pour l'achèvement de cette tâche. Si la tâche s'exécute au-delà de ce seuil, le système l'arrête automatiquement. La valeur par défaut est vide, ce qui signifie qu'aucune limite de délai n'est définie.
Network Connection	Une connexion réseau existante permettant d'accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, consultez Connectivité réseau entre EMR Serverless Spark et d'autres VPC.
Mount Integrated File Directory	Désactivé par défaut. Pour utiliser cette fonctionnalité, ajoutez un répertoire de fichiers sur la page Artifacts, sous l'onglet Integrated File Directory. Pour plus d'informations, consultez Gestion du répertoire de fichiers intégré. Lorsqu'elle est activée, le système monte le répertoire de fichiers géré sur la tâche, lui permettant de lire et d'écrire dans le répertoire. L'opération de montage consomme des ressources de calcul du pilote. Le montant consommé correspond à la valeur la plus élevée parmi les deux suivantes : Ressources fixes : 0,3 vCPU + 1 Go de mémoire. Ressources dynamiques : 10 % des ressources `spark.driver` (c'est-à-dire 10 % des cœurs et de la mémoire de `spark.driver`). Par exemple, si `spark.driver` est configuré avec 4 cœurs et 8 Go de mémoire, les ressources dynamiques sont de 0,4 vCPU + 0,8 Go de mémoire. Dans ce cas, les ressources réellement consommées sont `max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB)`, soit 0,4 vCPU + 1 Go de mémoire. Remarque Portée du montage : par défaut, le répertoire de fichiers est monté uniquement sur le pilote. Pour le monter également sur les exécuteurs, activez Mount to Executor. Plusieurs répertoires : vous pouvez monter plusieurs répertoires de fichiers intégrés. Toutefois, les répertoires CPFS ne peuvent pas être utilisés conjointement avec d'autres types. Par exemple, vous pouvez monter ensemble plusieurs répertoires OSS et NAS, mais vous ne pouvez pas monter CPFS avec des répertoires OSS ou NAS. Exigences réseau : lorsque vous montez un répertoire de fichiers NAS ou CPFS, vous devez configurer une connexion réseau. Le VPC de la connexion réseau doit être identique au VPC de la cible de montage NAS ou CPFS.
Mount to Executor	Lorsqu'elle est activée, le système monte le répertoire de fichiers géré sur les exécuteurs de la tâche, leur permettant de lire et d'écrire dans le répertoire. L'opération de montage consomme des ressources d'exécuteur. Le pourcentage de ressources consommées varie en fonction de l'utilisation des fichiers.
spark.driver.cores	Nombre de cœurs CPU utilisés par le pilote dans l'application Spark.
spark.driver.memory	Quantité de mémoire disponible pour le pilote dans l'application Spark.
spark.executor.cores	Nombre de cœurs CPU virtuels utilisés par chaque exécuteur dans l'application Spark.
spark.executor.memory	Quantité de mémoire disponible pour chaque exécuteur dans l'application Spark.
spark.executor.instances	Nombre d'exécuteurs alloués par Spark.
Dynamic Resource Allocation	Désactivé par défaut. Lorsqu'il est activé, configurez les paramètres suivants : Minimum Number of Executors : la valeur par défaut est 2. Maximum Number of Executors : si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
More Memory Configurations	spark.driver.memoryOverhead : mémoire hors tas disponible pour le pilote. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur basée sur la valeur par défaut, qui est `max(384 MB, 10 % * spark.driver.memory)`. spark.executor.memoryOverhead : mémoire hors tas disponible pour chaque exécuteur. Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur basée sur la valeur par défaut, qui est `max(384 MB, 10 % * spark.executor.memory)`. spark.memory.offHeap.size : quantité de mémoire hors tas disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre prend effet uniquement lorsque `spark.memory.offHeap.enabled` est défini sur `true`. Lorsque le moteur Fusion est utilisé, cette fonctionnalité est activée par défaut avec 1 Go de mémoire hors tas.
Spark Configuration	Saisissez les informations de configuration Spark. Séparez les paires clé-valeur par un espace. Par exemple, `key value`.
Tags	Saisissez des paires clé-valeur pour les tags. Les tags vous aident à gérer les tâches avec plus de commodité et de précision.

Spark Submit

Paramètre	Description
Engine Version	La version de Spark. Pour plus d'informations, consultez la rubrique Versions du moteur.
Script	Saisissez votre script Spark Submit. Le code suivant fournit un exemple : `--class org.apache.spark.examples.SparkPi \ --conf spark.executor.memory=2g \ oss://<YourBucket>/spark-examples_2.12-3.5.2.jar`
Timeout	Durée maximale autorisée pour l'exécution de cette tâche. Si la tâche s'exécute au-delà de ce seuil, le système l'arrête automatiquement. La valeur par défaut est vide, ce qui signifie qu'aucune limite de délai n'est définie.
Network Connection	Connexion réseau existante permettant d'accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, consultez la rubrique Connectivité réseau entre EMR Serverless Spark et d'autres VPC.
Mount Integrated File Directory	Désactivé par défaut. Pour utiliser cette fonctionnalité, ajoutez un répertoire de fichiers sur la page Artifacts, dans l'onglet Integrated File Directory. Pour plus d'informations, consultez la rubrique Gestion du répertoire de fichiers intégré. Lorsqu'elle est activée, cette fonctionnalité monte le répertoire de fichiers géré sur l'application, ce qui permet à celle-ci de lire et d'écrire directement dans le répertoire. L'opération de montage consomme des ressources de calcul du pilote (driver). La quantité consommée correspond à la valeur la plus élevée parmi les deux suivantes : Ressources fixes : 0,3 vCPU + 1 Go de mémoire. Ressources dynamiques : 10 % des ressources de `spark.driver` (c'est-à-dire 10 % des cœurs et de la mémoire de `spark.driver`). Par exemple, si `spark.driver` est configuré avec 4 cœurs et 8 Go de mémoire, les ressources dynamiques sont de 0,4 vCPU + 0,8 Go de mémoire. Dans ce cas, les ressources réellement consommées sont `max(0,3 vCPU + 1 Go, 0,4 vCPU + 0,8 Go)`, soit 0,4 vCPU + 1 Go de mémoire. Remarque Portée du montage : Par défaut, le répertoire de fichiers est monté uniquement sur le pilote (driver). Pour le monter également sur les exécuteurs (executors), activez l'option Mount to Executor. Répertoires multiples : Vous pouvez monter plusieurs répertoires de fichiers intégrés. Toutefois, les répertoires CPFS ne peuvent pas être utilisés conjointement avec d'autres types. Par exemple, vous pouvez monter plusieurs répertoires OSS et NAS ensemble, mais vous ne pouvez pas monter CPFS avec des répertoires OSS ou NAS. Exigences réseau : Lors du montage d'un répertoire de fichiers NAS ou CPFS, vous devez configurer une connexion réseau. Le VPC de la connexion réseau doit être identique au VPC de la cible de montage NAS ou CPFS.
Mount to Executor	Lorsqu'elle est activée, cette fonctionnalité monte le répertoire de fichiers géré sur les exécuteurs (executors) de l'application, ce qui leur permet de lire et d'écrire directement dans le répertoire. La quantité de ressources d'exécuteur consommée dépend de l'utilisation des fichiers montés.
spark.driver.cores	Nombre de cœurs CPU utilisés par le pilote (driver) dans l'application Spark.
spark.driver.memory	Quantité de mémoire disponible pour le pilote (driver) dans l'application Spark.
spark.executor.cores	Nombre de cœurs CPU virtuels utilisés par chaque exécuteur (executor) dans l'application Spark.
spark.executor.memory	Quantité de mémoire disponible pour chaque exécuteur (executor) dans l'application Spark.
spark.executor.instances	Nombre d'exécuteurs (executors) alloués par Spark.
Dynamic Resource Allocation	Désactivé par défaut. Lorsqu'il est activé, configurez les paramètres suivants : Minimum Number of Executors : La valeur par défaut est 2. Maximum Number of Executors : Si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
More Memory Configurations	spark.driver.memoryOverhead : Mémoire hors tas (non-heap) disponible pour le pilote (driver). Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur basée sur la valeur par défaut, qui est `max(384 Mo, 10 % * spark.driver.memory)`. spark.executor.memoryOverhead : Mémoire hors tas (non-heap) disponible pour chaque exécuteur (executor). Si ce paramètre n'est pas défini, Spark alloue automatiquement une valeur basée sur la valeur par défaut, qui est `max(384 Mo, 10 % * spark.executor.memory)`. spark.memory.offHeap.size : Quantité de mémoire hors tas (off-heap) disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre prend effet uniquement lorsque `spark.memory.offHeap.enabled` est défini sur `true`. Lorsque le moteur Fusion est utilisé, cette fonctionnalité est activée par défaut avec 1 Go de mémoire hors tas.
Spark Configuration	Saisissez les informations de configuration Spark. Séparez les paires clé-valeur par un espace. Par exemple, `key value`.
Tags	Saisissez des paires clé-valeur pour les tags. Les tags vous aident à gérer les tâches avec plus de commodité et de précision.

(Facultatif) Sur le côté droit de la page de développement des tâches, cliquez sur l'onglet Version Information pour consulter ou comparer les versions.

Exécutez et publiez la tâche.
1. Cliquez sur Run.
  
  Pour afficher les détails de la tâche, accédez à la zone Execution Records en bas de page après l'exécution de la tâche, puis cliquez sur Details dans la colonne Actions.
2. Dans le coin supérieur droit, cliquez sur Publish.
3. Dans la boîte de dialogue Publish, saisissez des Remarks et cliquez sur OK.

Documentation connexe

FAQ

Q1 : Comment configurer une politique de nouvelle tentative automatique pour les tâches ayant échoué ?

Pour améliorer la tolérance aux pannes des tâches en streaming, définissez une politique de nouvelle tentative automatique à l'aide des deux paramètres de configuration Spark suivants :

spark.emr.serverless.streaming.fail.retry.interval 60    # Retry interval: 60 seconds
spark.emr.serverless.streaming.fail.retry.time 3        # Maximum retries: 3

**Q2 : Que faire si l'erreur « ApplicationConfigs est vide » s'affiche lors de l'appel de l'opération StartJobRun ?**

Cette erreur se produit lorsque le champ ApplicationConfigs des paramètres de la requête est vide ou mal formaté. Pour résoudre ce problème, reportez-vous à l'exemple de code permettant de démarrer une tâche Spark à l'aide du SDK Python et assurez-vous que la requête inclut un paramètre ApplicationConfigs correctement configuré et non vide.

Mots-clés : StartJobRun, ApplicationConfigs, SDK, erreur API.

Q3 : Que faire si une tâche plante au démarrage du conteneur en raison de ressources insuffisantes ?

Ce problème est généralement dû à un manque de ressources, ce qui entraîne l'arrêt immédiat du conteneur au démarrage. Pour le résoudre, accédez à la console EMR Serverless Spark, localisez la ressource de calcul correspondante et augmentez le nombre de cœurs d'exécuteur (spark.executor.cores) ainsi que la taille de la mémoire de l'exécuteur (spark.executor.memory) dans la configuration des ressources au niveau de la tâche. Soumettez ensuite à nouveau la tâche pour vérifier que le problème est résolu.

Mots-clés : plantage du conteneur, ressources insuffisantes, Executor Core, Executor Memory, OOM.