DataWorks:Créer un nœud EMR Spark

Package JAR inférieur à 500 Mo

1. Créez une ressource JAR EMR.

   Cette méthode permet une gestion visuelle des ressources dans la console DataWorks. Une fois la ressource créée, validez-la. Pour plus d'informations, consultez la rubrique Créer et utiliser des ressources EMR.

   Dans la boîte de dialogue Create Resource, définissez Engine Type sur EMR et sélectionnez une Engine Instance. Définissez Resource Type sur EMR JAR, spécifiez le Path et sélectionnez Upload as EMR Resource. Choisissez un type de Storage Path, qui peut être OSS One-click Authorization ou HDFS. Définissez File Source sur Local et cliquez sur Upload pour télécharger le fichier. Spécifiez un Name pour la ressource. Le nom d'une ressource JAR doit se terminer par .jar. Cliquez ensuite sur Create.

   Remarque

   Lors de la première création d'une ressource EMR destinée à être stockée dans OSS, vous devez autoriser l'accès comme indiqué.

2. Référencez la ressource JAR EMR.

   1. Double-cliquez sur le nœud EMR Spark pour ouvrir son éditeur de code.

   2. Dans l'arborescence de navigation de gauche, choisissez EMR > Resources. Localisez votre ressource JAR EMR, cliquez dessus avec le bouton droit et sélectionnez Insert Resource Path.

   3. Après avoir référencé la ressource, le système ajoute automatiquement un extrait de code de référence à l'éditeur de code du nœud. L'extrait de code suivant illustre cette opération.

      ##@resource_reference{"spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar"}
      spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar

      La présence de cet extrait indique que la ressource est référencée. Dans le code précédent, spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar correspond au nom de la ressource JAR EMR téléchargée.

   4. Modifiez le code du nœud EMR Spark et ajoutez une commande spark-submit. L'exemple de code suivant illustre cette étape.

      Remarque

      L'éditeur de code des nœuds EMR Spark ne prend pas en charge les commentaires. Modifiez le code du job selon l'exemple suivant. N'ajoutez pas de commentaires, sinon une erreur se produira lors de l'exécution du nœud.

      ##@resource_reference{"spark-examples_2.11-2.4.0.jar"}
      spark-submit --class org.apache.spark.examples.SparkPi --master yarn  spark-examples_2.11-2.4.0.jar 100

      Le tableau suivant décrit les paramètres.

      • org.apache.spark.examples.SparkPi : classe principale du job dans le package JAR compilé.

      • spark-examples_2.11-2.4.0.jar : nom de la ressource JAR EMR que vous avez téléchargée.

      • Vous pouvez conserver les autres paramètres tels qu'ils figurent dans l'exemple ci-dessus. Vous pouvez également exécuter la commande suivante pour afficher l'aide de spark submit et modifier la commande spark submit selon vos besoins.

        Remarque

        • Si vous souhaitez utiliser des paramètres simplifiés de la commande spark-submit dans un nœud Spark, vous devez ajouter les paramètres au code. Exemple : --executor-memory 2G.

        • Les nœuds Spark ne prennent en charge la soumission de jobs qu'en mode cluster YARN.

        • Pour les jobs soumis à l'aide de la commande spark-submit , définissez le paramètre de mode de déploiement sur cluster, et non sur client.

        spark-submit --help

        spark-submit --help
        Process Output>>>
        Process Output>>> Options:
        Process Output>>>       --master MASTER_URL         spark://host:port, mesos://host:port, yarn,
        Process Output>>>                                   k8s://https://host:port, or local (Default: local[*]).
        Process Output>>>       --deploy-mode DEPLOY_MODE   Whether to launch the driver program locally ("client") or
        Process Output>>>                                   on one of the worker machines inside the cluster ("cluster")
        Process Output>>>                                   (Default: client).
        Process Output>>>       --class CLASS_NAME          Your application's main class (for Java / Scala apps).
        Process Output>>>       --name NAME                 A name of your application.
        Process Output>>>       --jars JARS                 Comma-separated list of jars to include on the driver
        Process Output>>>                                   and executor classpaths.
        Process Output>>>       --packages                  Comma-separated list of maven coordinates of jars to include
        Process Output>>>                                   on the driver and executor classpaths. Will search the local
        Process Output>>>                                   maven repo, then maven central and any additional remote
        Process Output>>>                                   repositories given by --repositories. The format for the
        Process Output>>>                                   coordinates should be groupId:artifactId:version.
        Process Output>>>       --exclude-packages          Comma-separated list of groupId:artifactId, to exclude while
        Process Output>>>                                   resolving the dependencies provided in --packages to avoid
        Process Output>>>                                   dependency conflicts.
        Process Output>>>       --repositories              Comma-separated list of additional remote repositories to
        Process Output>>>                                   search for the maven coordinates given with --packages.
        Process Output>>>       --py-files PY_FILES         Comma-separated list of .zip, .egg, or .py files to place
        Process Output>>>                                   on the PYTHONPATH for Python apps.
        Process Output>>>       --files FILES               Comma-separated list of files to be placed in the working
        Process Output>>>                                   directory of each executor. File paths of these files

Package JAR de 500 Mo ou plus

1. Créez une ressource JAR EMR.

   Si un package JAR fait 500 Mo ou plus, vous ne pouvez pas le télécharger depuis votre ordinateur local en tant que ressource DataWorks. Stockez le package JAR dans le HDFS de votre cluster EMR et notez son chemin de stockage. Vous pourrez ensuite utiliser ce chemin pour référencer le package lors de la planification du job Spark.

2. Référencez la ressource JAR EMR.

   Si le package JAR est stocké dans HDFS, référencez-le directement en spécifiant son chemin dans le code du nœud EMR Spark.

   1. Double-cliquez sur le nœud EMR Spark créé pour ouvrir l'éditeur de code du nœud.

   2. Rédigez une commande spark-submit. L'exemple de code suivant illustre cette étape.

      spark-submit --master yarn
      --deploy-mode cluster
      --name SparkPi
      --driver-memory 4G
      --driver-cores 1
      --num-executors 5
      --executor-memory 4G
      --executor-cores 1
      --class org.apache.spark.examples.JavaSparkPi
      hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100

      Le tableau suivant décrit les paramètres.

      • hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar : chemin du package JAR dans HDFS.

      • org.apache.spark.examples.JavaSparkPi : classe principale du job dans le package JAR compilé.

      • Les autres paramètres sont des paramètres de cluster EMR et doivent être modifiés en fonction de vos besoins métier. Vous pouvez également exécuter la commande suivante pour afficher les informations d'aide de la commande spark-submit et modifier la commande selon vos besoins.

        Important

        • Si vous souhaitez utiliser des paramètres simplifiés de la commande Spark-submit dans un nœud Spark, vous devez ajouter les paramètres au code. Exemple : --executor-memory 2G.

        • Les nœuds Spark ne prennent en charge la soumission de jobs qu'en mode cluster YARN.

        • Pour les jobs soumis à l'aide de la commande spark-submit, définissez le paramètre de mode de déploiement sur cluster, et non sur client.

        spark-submit --help

Cluster DataLake ou personnalisé : EMR on ECS

Cluster EMR Serverless Spark

Pour plus d'informations sur la configuration des paramètres, consultez la rubrique Configurer les paramètres d'un job Spark.

Cluster Spark : EMR on ACK

Cluster Hadoop : EMR on ECS