E-MapReduce:Developing batch or streaming tasks

Prérequis

Un espace de travail doit être créé. Pour plus d'informations, reportez-vous à la section Gestion des espaces de travail.

Procédure

1. Accédez à la page Data Development.

   1. Connectez-vous à la console E-MapReduce.

   2. Dans le volet de navigation de gauche, choisissez EMR Serverless > Spark.

   3. Sur la page Spark, cliquez sur le nom de l'espace de travail cible.

   4. Sur la page EMR Serverless Spark, cliquez sur Development dans le volet de navigation de gauche.

2. Créez une tâche.

   1. Dans l'onglet Development, cliquez sur l'icône .

   2. Dans la boîte de dialogue, saisissez un Name, sélectionnez un type de tâche par lot ou en continu, puis cliquez sur OK.

   3. Dans le coin supérieur droit, sélectionnez une file d'attente de ressources.

   4. Dans l'éditeur de la nouvelle tâche, modifiez les paramètres en fonction du type de votre tâche.

      JAR

      Paramètre	Description
      Main JAR Resource	Package JAR principal requis pour exécuter la tâche. Workspace : fichiers que vous avez précédemment téléchargés sur la page Artifacts. OSS : fichier stocké dans Alibaba Cloud Object Storage Service (OSS).
      Engine Version	Version de Spark. Pour plus d'informations, reportez-vous à la section Versions du moteur.
      Main class	Classe principale spécifiée lors de la soumission de la tâche Spark.
      Execution Parameters	Éléments de configuration requis lors de l'exécution de la tâche ou paramètres personnalisés transmis à la classe principale. Séparez plusieurs paramètres par des espaces.
      Timeout	Durée maximale autorisée pour cette tâche. Si l'exécution dépasse ce seuil, le système arrête automatiquement la tâche. La valeur par défaut est vide, ce qui signifie qu'aucune limite de temps n'est définie.
      Network Connection	Connexion réseau existante permettant d'accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, reportez-vous à la section Connectivité réseau entre EMR Serverless Spark et d'autres VPC.
      Mount Integrated File Directory	Désactivé par défaut. Pour utiliser cette fonctionnalité, ajoutez un répertoire de fichiers sur la page Artifacts, dans l'onglet Integrated File Directory. Pour plus d'informations, reportez-vous à la section Gestion du répertoire de fichiers intégré. L'activation de cette fonctionnalité monte le répertoire de fichiers géré sur l'application, lui permettant de lire et d'écrire directement dans les fichiers du répertoire. L'opération de montage consomme des ressources de calcul du pilote (driver). La quantité consommée correspond à la valeur la plus élevée parmi les deux suivantes : Ressources fixes : 0,3 vCPU + 1 Go de mémoire. Ressources dynamiques : 10 % des ressources spark.driver (c'est-à-dire 10 % des cœurs et de la mémoire de spark.driver). Par exemple, si spark.driver est configuré avec 4 cœurs et 8 Go de mémoire, les ressources dynamiques s'élèvent à 0,4 vCPU + 0,8 Go de mémoire. Dans ce cas, les ressources réellement consommées sont max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), soit 0,4 vCPU + 1 Go de mémoire. Remarque Portée du montage : par défaut, le répertoire de fichiers est monté uniquement sur le pilote (driver). Pour le monter également sur les exécuteurs, activez l'option Mount to Executor. Plusieurs répertoires : vous pouvez monter plusieurs répertoires de fichiers intégrés. Toutefois, les répertoires CPFS ne peuvent pas être utilisés conjointement avec d'autres types. Par exemple, vous pouvez monter ensemble plusieurs répertoires OSS et NAS, mais vous ne pouvez pas associer CPFS avec des répertoires OSS ou NAS. Exigences réseau : lorsque vous montez un répertoire de fichiers NAS ou CPFS, vous devez configurer une connexion réseau. Le VPC de la connexion réseau doit être identique au VPC de la cible de montage NAS ou CPFS.
      Mount to Executor	L'activation de cette fonctionnalité monte le répertoire de fichiers géré sur les exécuteurs de l'application, leur permettant de lire et d'écrire directement dans les fichiers du répertoire. Cette opération de montage consomme des ressources des exécuteurs. La quantité de ressources consommée varie en fonction de l'utilisation des fichiers montés.
      File Resources	Lors de la soumission de la tâche, les fichiers spécifiés par le paramètre --files sont copiés dans le répertoire de travail de l'exécuteur. Cela garantit que la tâche Spark peut accéder à ces fichiers au moment de l'exécution. Vous pouvez sélectionner des fichiers depuis Workspace ou OSS.
      Archive Resources	Lors de la soumission de la tâche, les fichiers spécifiés par le paramètre --archives sont décompressés et distribués vers les objets archivés sur l'exécuteur. Vous pouvez sélectionner des archives depuis Workspace ou OSS.
      JAR Resources	Lors de la soumission de la tâche, spécifiez les fichiers de dépendance JAR requis à l'aide du paramètre --jars. Vous pouvez sélectionner des fichiers JAR depuis Workspace ou OSS.
      spark.driver.cores	Nombre de cœurs CPU utilisés par le pilote (driver) dans l'application Spark.
      spark.driver.memory	Quantité de mémoire disponible pour le pilote (driver) dans l'application Spark.
      spark.executor.cores	Nombre de cœurs CPU virtuels utilisés par chaque exécuteur dans l'application Spark.
      spark.executor.memory	Quantité de mémoire disponible pour chaque exécuteur dans l'application Spark.
      spark.executor.instances	Nombre d'exécuteurs alloués par Spark.
      Dynamic Resource Allocation	Désactivé par défaut. Lorsqu'il est activé, configurez les paramètres suivants : Minimum Number of Executors : la valeur par défaut est 2. Maximum Number of Executors : si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
      More Memory Configurations	spark.driver.memoryOverhead : mémoire hors tas (non-heap) disponible pour le pilote (driver). Si ce paramètre n'est pas défini, Spark attribue automatiquement une valeur basée sur la valeur par défaut, soit max(384 MB, 10 % * spark.driver.memory). spark.executor.memoryOverhead : mémoire hors tas (non-heap) disponible pour chaque exécuteur. Si ce paramètre n'est pas défini, Spark attribue automatiquement une valeur basée sur la valeur par défaut, soit max(384 MB, 10 % * spark.executor.memory). spark.memory.offHeap.size : quantité de mémoire hors tas (off-heap) disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre prend effet uniquement lorsque spark.memory.offHeap.enabled est défini sur true. Lorsque le moteur Fusion est utilisé, cette fonctionnalité est activée par défaut avec 1 Go de mémoire hors tas.
      Spark Configuration	Saisissez les informations de configuration Spark. Séparez les paires clé-valeur par un espace. Par exemple, key value.
      Tags	Saisissez les paires clé-valeur pour les tags. Les tags vous aident à gérer les tâches avec plus de commodité et de précision.

      PySpark

      Paramètre	Description
      Main Python Resources	Fichier Python principal requis pour exécuter la tâche. Workspace : fichier que vous avez téléchargé sur la page Artifacts. OSS : fichier stocké dans Object Storage Service (OSS).
      Engine Version	Version de Spark. Pour plus d'informations, reportez-vous à la section Versions du moteur.
      Execution Parameters	Éléments de configuration requis lors de l'exécution de la tâche ou paramètres personnalisés transmis à la classe principale.
      Timeout	Durée maximale autorisée pour cette tâche. Si l'exécution dépasse ce seuil, le système arrête automatiquement la tâche. La valeur par défaut est vide, ce qui signifie qu'aucune limite de temps n'est définie.
      Environment	Les ressources nécessaires à l'exécution de la tâche sont préconfigurées en fonction de l'environnement sélectionné.
      Network Connection	Connexion réseau existante permettant d'accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, reportez-vous à la section Connectivité réseau entre EMR Serverless Spark et d'autres VPC.
      Mount Integrated File Directory	Désactivé par défaut. Pour utiliser cette fonctionnalité, ajoutez un répertoire de fichiers sur la page Artifacts, dans l'onglet Integrated File Directory. Pour plus d'informations, reportez-vous à la section Gestion du répertoire de fichiers intégré. Lorsqu'elle est activée, cette fonctionnalité monte le répertoire de fichiers géré sur la tâche, permettant un accès direct en lecture et écriture aux fichiers du répertoire. L'opération de montage consomme des ressources de calcul du pilote (driver). La quantité consommée correspond à la valeur la plus élevée parmi les deux suivantes : Ressources fixes : 0,3 vCPU + 1 Go de mémoire. Ressources dynamiques : 10 % des ressources spark.driver (c'est-à-dire 10 % des cœurs et de la mémoire de spark.driver). Par exemple, si spark.driver est configuré avec 4 cœurs et 8 Go de mémoire, les ressources dynamiques s'élèvent à 0,4 vCPU + 0,8 Go de mémoire. Dans ce cas, les ressources réellement consommées sont max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), soit 0,4 vCPU + 1 Go de mémoire. Remarque Portée du montage : par défaut, le répertoire de fichiers est monté uniquement sur le pilote (driver). Pour le monter également sur les exécuteurs, activez l'option Mount to Executor. Plusieurs répertoires : vous pouvez monter plusieurs répertoires de fichiers intégrés. Toutefois, les répertoires CPFS ne peuvent pas être utilisés conjointement avec d'autres types. Par exemple, vous pouvez monter ensemble plusieurs répertoires OSS et NAS, mais vous ne pouvez pas associer CPFS avec des répertoires OSS ou NAS. Exigences réseau : lorsque vous montez un répertoire de fichiers NAS ou CPFS, vous devez configurer une connexion réseau. Le VPC de la connexion réseau doit être identique au VPC de la cible de montage NAS ou CPFS.
      Mount to Executor	Lorsqu'elle est activée, cette fonctionnalité monte le répertoire de fichiers géré sur les exécuteurs de la tâche, leur permettant un accès direct en lecture et écriture aux fichiers du répertoire. Cette opération de montage consomme des ressources des exécuteurs. Le pourcentage de ressources consommées varie en fonction de l'utilisation des fichiers montés.
      File Resources	Liste des fichiers à distribuer à tous les nœuds exécuteurs du cluster. Pour le type de ressource, vous pouvez sélectionner Workspace ou OSS.
      Pyfiles Resources	Lors de la soumission de la tâche, les fichiers spécifiés par le paramètre --py-files sont distribués en tant que fichiers de dépendance Python. Pour le type de ressource, vous pouvez sélectionner Workspace ou OSS.
      Archive Resources	Lors de la soumission de la tâche, les fichiers spécifiés par le paramètre --archives sont décompressés et distribués vers les objets archivés sur l'exécuteur. Pour le type de ressource, vous pouvez sélectionner Workspace ou OSS.
      JAR Resources	Lors de la soumission de la tâche, spécifiez les fichiers de dépendance JAR requis à l'aide du paramètre --jars. Pour le type de ressource, vous pouvez sélectionner Workspace ou OSS.
      spark.driver.cores	Nombre de cœurs CPU utilisés par le pilote (driver) dans l'application Spark.
      spark.driver.memory	Quantité de mémoire disponible pour le pilote (driver) dans l'application Spark.
      spark.executor.cores	Nombre de cœurs CPU virtuels utilisés par chaque exécuteur dans l'application Spark.
      spark.executor.memory	Quantité de mémoire disponible pour chaque exécuteur dans l'application Spark.
      spark.executor.instances	Nombre d'exécuteurs alloués par Spark.
      Dynamic Resource Allocation	Désactivé par défaut. Lorsqu'il est activé, configurez les paramètres suivants : Minimum Number of Executors : la valeur par défaut est 2. Maximum Number of Executors : si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
      More Memory Configurations	spark.driver.memoryOverhead : mémoire hors tas (non-heap) disponible pour le pilote (driver). Si ce paramètre n'est pas défini, Spark attribue automatiquement une valeur basée sur la valeur par défaut, soit max(384 MB, 10 % * spark.driver.memory). spark.executor.memoryOverhead : mémoire hors tas (non-heap) disponible pour chaque exécuteur. Si ce paramètre n'est pas défini, Spark attribue automatiquement une valeur basée sur la valeur par défaut, soit max(384 MB, 10 % * spark.executor.memory). spark.memory.offHeap.size : quantité de mémoire hors tas (off-heap) disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre prend effet uniquement lorsque spark.memory.offHeap.enabled est défini sur true. Lorsque le moteur Fusion est utilisé, cette fonctionnalité est activée par défaut avec 1 Go de mémoire hors tas.
      Spark Configuration	Saisissez les informations de configuration Spark. Séparez les paires clé-valeur par un espace. Par exemple, key value.
      Tags	Saisissez les paires clé-valeur pour les tags. Les tags vous aident à gérer les tâches avec plus de commodité et de précision.

      SQL

      Paramètre	Description
      SQL File	Fichier requis lors de la soumission de la tâche. Workspace : fichier provenant de la page Artifacts. OSS : fichier provenant d'Alibaba Cloud OSS. Execute Statement : exécutez directement des instructions SQL sans télécharger de fichier.
      Engine Version	Version de Spark. Pour plus d'informations, reportez-vous à la section Versions du moteur.
      Timeout	Durée maximale autorisée pour cette tâche. Si l'exécution dépasse ce seuil, le système arrête automatiquement la tâche. La valeur par défaut est vide, ce qui signifie qu'aucune limite de temps n'est définie.
      Network Connection	Connexion réseau existante permettant d'accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, reportez-vous à la section Connectivité réseau entre EMR Serverless Spark et d'autres VPC.
      Mount Integrated File Directory	Désactivé par défaut. Pour utiliser cette fonctionnalité, ajoutez un répertoire de fichiers sur la page Artifacts, dans l'onglet Integrated File Directory. Pour plus d'informations, reportez-vous à la section Gestion du répertoire de fichiers intégré. Lorsqu'elle est activée, le système monte le répertoire de fichiers géré sur la tâche, lui permettant de lire et d'écrire dans le répertoire. L'opération de montage consomme des ressources de calcul du pilote (driver). La quantité consommée correspond à la valeur la plus élevée parmi les deux suivantes : Ressources fixes : 0,3 vCPU + 1 Go de mémoire. Ressources dynamiques : 10 % des ressources spark.driver (c'est-à-dire 10 % des cœurs et de la mémoire de spark.driver). Par exemple, si spark.driver est configuré avec 4 cœurs et 8 Go de mémoire, les ressources dynamiques s'élèvent à 0,4 vCPU + 0,8 Go de mémoire. Dans ce cas, les ressources réellement consommées sont max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), soit 0,4 vCPU + 1 Go de mémoire. Remarque Portée du montage : par défaut, le répertoire de fichiers est monté uniquement sur le pilote (driver). Pour le monter également sur les exécuteurs, activez l'option Mount to Executor. Plusieurs répertoires : vous pouvez monter plusieurs répertoires de fichiers intégrés. Toutefois, les répertoires CPFS ne peuvent pas être utilisés conjointement avec d'autres types. Par exemple, vous pouvez monter ensemble plusieurs répertoires OSS et NAS, mais vous ne pouvez pas associer CPFS avec des répertoires OSS ou NAS. Exigences réseau : lorsque vous montez un répertoire de fichiers NAS ou CPFS, vous devez configurer une connexion réseau. Le VPC de la connexion réseau doit être identique au VPC de la cible de montage NAS ou CPFS.
      Mount to Executor	Lorsqu'elle est activée, le système monte le répertoire de fichiers géré sur les exécuteurs de la tâche, leur permettant de lire et d'écrire dans le répertoire. L'opération de montage consomme des ressources des exécuteurs. Le pourcentage de ressources consommées varie en fonction de l'utilisation des fichiers.
      spark.driver.cores	Nombre de cœurs CPU utilisés par le pilote (driver) dans l'application Spark.
      spark.driver.memory	Quantité de mémoire disponible pour le pilote (driver) dans l'application Spark.
      spark.executor.cores	Nombre de cœurs CPU virtuels utilisés par chaque exécuteur dans l'application Spark.
      spark.executor.memory	Quantité de mémoire disponible pour chaque exécuteur dans l'application Spark.
      spark.executor.instances	Nombre d'exécuteurs alloués par Spark.
      Dynamic Resource Allocation	Désactivé par défaut. Lorsqu'il est activé, configurez les paramètres suivants : Minimum Number of Executors : la valeur par défaut est 2. Maximum Number of Executors : si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
      More Memory Configurations	spark.driver.memoryOverhead : mémoire hors tas (non-heap) disponible pour le pilote (driver). Si ce paramètre n'est pas défini, Spark attribue automatiquement une valeur basée sur la valeur par défaut, soit max(384 MB, 10 % * spark.driver.memory). spark.executor.memoryOverhead : mémoire hors tas (non-heap) disponible pour chaque exécuteur. Si ce paramètre n'est pas défini, Spark attribue automatiquement une valeur basée sur la valeur par défaut, soit max(384 MB, 10 % * spark.executor.memory). spark.memory.offHeap.size : quantité de mémoire hors tas (off-heap) disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre prend effet uniquement lorsque spark.memory.offHeap.enabled est défini sur true. Lorsque le moteur Fusion est utilisé, cette fonctionnalité est activée par défaut avec 1 Go de mémoire hors tas.
      Spark Configuration	Saisissez les informations de configuration Spark. Séparez les paires clé-valeur par un espace. Par exemple, key value.
      Tags	Saisissez les paires clé-valeur pour les tags. Les tags vous aident à gérer les tâches avec plus de commodité et de précision.

      Spark Submit

      Paramètre	Description
      Engine Version	Version de Spark. Pour plus d'informations, reportez-vous à la section Versions du moteur.
      Script	Saisissez votre script Spark Submit. Le code suivant fournit un exemple : --class org.apache.spark.examples.SparkPi \ --conf spark.executor.memory=2g \ oss://<YourBucket>/spark-examples_2.12-3.5.2.jar
      Timeout	Durée maximale autorisée pour cette tâche. Si l'exécution dépasse ce seuil, le système arrête automatiquement la tâche. La valeur par défaut est vide, ce qui signifie qu'aucune limite de temps n'est définie.
      Network Connection	Connexion réseau existante permettant d'accéder aux sources de données dans un VPC ou à des services externes. Pour plus d'informations, reportez-vous à la section Connectivité réseau entre EMR Serverless Spark et d'autres VPC.
      Mount Integrated File Directory	Désactivé par défaut. Pour utiliser cette fonctionnalité, ajoutez un répertoire de fichiers sur la page Artifacts, dans l'onglet Integrated File Directory. Pour plus d'informations, reportez-vous à la section Gestion du répertoire de fichiers intégré. Lorsqu'elle est activée, cette fonctionnalité monte le répertoire de fichiers géré sur l'application, lui permettant de lire et d'écrire directement dans le répertoire. L'opération de montage consomme des ressources de calcul du pilote (driver). La quantité consommée correspond à la valeur la plus élevée parmi les deux suivantes : Ressources fixes : 0,3 vCPU + 1 Go de mémoire. Ressources dynamiques : 10 % des ressources spark.driver (c'est-à-dire 10 % des cœurs et de la mémoire de spark.driver). Par exemple, si spark.driver est configuré avec 4 cœurs et 8 Go de mémoire, les ressources dynamiques s'élèvent à 0,4 vCPU + 0,8 Go de mémoire. Dans ce cas, les ressources réellement consommées sont max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), soit 0,4 vCPU + 1 Go de mémoire. Remarque Portée du montage : par défaut, le répertoire de fichiers est monté uniquement sur le pilote (driver). Pour le monter également sur les exécuteurs, activez l'option Mount to Executor. Plusieurs répertoires : vous pouvez monter plusieurs répertoires de fichiers intégrés. Toutefois, les répertoires CPFS ne peuvent pas être utilisés conjointement avec d'autres types. Par exemple, vous pouvez monter ensemble plusieurs répertoires OSS et NAS, mais vous ne pouvez pas associer CPFS avec des répertoires OSS ou NAS. Exigences réseau : lorsque vous montez un répertoire de fichiers NAS ou CPFS, vous devez configurer une connexion réseau. Le VPC de la connexion réseau doit être identique au VPC de la cible de montage NAS ou CPFS.
      Mount to Executor	Lorsqu'elle est activée, cette fonctionnalité monte le répertoire de fichiers géré sur les exécuteurs de l'application, leur permettant de lire et d'écrire directement dans le répertoire. La quantité de ressources des exécuteurs consommée dépend de la manière dont les fichiers montés sont utilisés.
      spark.driver.cores	Nombre de cœurs CPU utilisés par le pilote (driver) dans l'application Spark.
      spark.driver.memory	Quantité de mémoire disponible pour le pilote (driver) dans l'application Spark.
      spark.executor.cores	Nombre de cœurs CPU virtuels utilisés par chaque exécuteur dans l'application Spark.
      spark.executor.memory	Quantité de mémoire disponible pour chaque exécuteur dans l'application Spark.
      spark.executor.instances	Nombre d'exécuteurs alloués par Spark.
      Dynamic Resource Allocation	Désactivé par défaut. Lorsqu'il est activé, configurez les paramètres suivants : Minimum Number of Executors : la valeur par défaut est 2. Maximum Number of Executors : si spark.executor.instances n'est pas défini, la valeur par défaut est 10.
      More Memory Configurations	spark.driver.memoryOverhead : mémoire hors tas (non-heap) disponible pour le pilote (driver). Si ce paramètre n'est pas défini, Spark attribue automatiquement une valeur basée sur la valeur par défaut, soit max(384 MB, 10 % * spark.driver.memory). spark.executor.memoryOverhead : mémoire hors tas (non-heap) disponible pour chaque exécuteur. Si ce paramètre n'est pas défini, Spark attribue automatiquement une valeur basée sur la valeur par défaut, soit max(384 MB, 10 % * spark.executor.memory). spark.memory.offHeap.size : quantité de mémoire hors tas (off-heap) disponible pour Spark. La valeur par défaut est 1 Go. Ce paramètre prend effet uniquement lorsque spark.memory.offHeap.enabled est défini sur true. Lorsque le moteur Fusion est utilisé, cette fonctionnalité est activée par défaut avec 1 Go de mémoire hors tas.
      Spark Configuration	Saisissez les informations de configuration Spark. Séparez les paires clé-valeur par un espace. Par exemple, key value.
      Tags	Saisissez les paires clé-valeur pour les tags. Les tags vous aident à gérer les tâches avec plus de commodité et de précision.

   5. (Facultatif) Sur le côté droit de la page de développement de la tâche, cliquez sur l'onglet Version Information pour consulter ou comparer les versions.

3. Exécutez et publiez la tâche.

   1. Cliquez sur Run.

      Pour afficher les détails de la tâche, accédez à la zone Execution Records en bas de page après l'exécution de la tâche, puis cliquez sur Details dans la colonne Actions.

   2. Dans le coin supérieur droit, cliquez sur Publish.

   3. Dans la boîte de dialogue Publish, saisissez des Remarks et cliquez sur OK.

Documents connexes

• Démarrage rapide pour le développement JAR

• Démarrage rapide pour le développement Spark Submit

• Démarrage rapide pour le développement SparkSQL

• Démarrage rapide pour le développement PySpark

• Soumission d'une tâche de streaming PySpark à l'aide de Serverless Spark

FAQ

Q1 : Comment définir une politique de nouvelle tentative automatique pour les tâches ayant échoué ?

Pour améliorer la tolérance aux pannes des tâches de streaming, vous pouvez définir une politique de nouvelle tentative automatique à l'aide des deux éléments de configuration Spark suivants :

spark.emr.serverless.streaming.fail.retry.interval 60    # Retry interval: 60 seconds
spark.emr.serverless.streaming.fail.retry.time 3        # Maximum retries: 3

**Q2 : Que faire si l'erreur « ApplicationConfigs est vide » s'affiche lors de l'appel de l'opération StartJobRun ?**

Cette erreur se produit lorsque le champ ApplicationConfigs des paramètres de la requête est vide ou mal formaté. Pour résoudre ce problème, reportez-vous à l'exemple de code pour démarrer une tâche Spark à l'aide du SDK Python et assurez-vous que la requête inclut un paramètre ApplicationConfigs correctement configuré et non vide.

Mots-clés : StartJobRun, ApplicationConfigs, SDK, erreur API.

Q3 : Que faire si une tâche plante au démarrage du conteneur en raison de ressources insuffisantes ?

Ce problème est généralement causé par un manque de ressources, ce qui entraîne le plantage immédiat du conteneur au démarrage. Pour résoudre ce problème, accédez à la console EMR Serverless Spark, localisez la ressource de calcul correspondante et augmentez le nombre de cœurs d'exécuteur (spark.executor.cores) ainsi que la taille de la mémoire de l'exécuteur (spark.executor.memory) dans la configuration des ressources au niveau de la tâche. Soumettez ensuite à nouveau la tâche pour vérifier que le problème est résolu.

Mots-clés : plantage du conteneur, ressources insuffisantes, cœur d'exécuteur, mémoire d'exécuteur, OOM.