DataWorks:Nœud Serverless Spark Batch

Créez une ressource EMR JAR.

1. Dans le volet de navigation de gauche, cliquez sur l'icône pour accéder à la page Resource Management.

2. Sur la page Resource Management, cliquez sur l'icône , sélectionnez New Resource, puis nommez la ressource spark-examples_2.11-2.4.0.jar.

3. Cliquez sur Click Upload et téléchargez le fichier spark-examples_2.11-2.4.0.jar.

4. Sélectionnez un Storage Path, une Data Sources et un Resource Group.

   Important

   Pour la source de données, vous devez sélectionner le cluster EMR Serverless Spark lié.

5. Cliquez sur Save.

Référencez la ressource EMR JAR.

1. Ouvrez le nœud Serverless Spark Batch que vous avez créé et restez sur la page de l'éditeur de code.

2. Dans le volet Gestion des ressources sur la gauche, recherchez la ressource que vous souhaitez utiliser, faites un clic droit dessus et sélectionnez Insert Resource Path.

3. La ressource est correctement référencée lorsque le code suivant est automatiquement ajouté à l'éditeur de code du nœud Serverless Spark Batch :

   ##@resource_reference{"spark-examples_2.11-2.4.0.jar"}
   spark-examples_2.11-2.4.0.jar

   Dans le code précédent, spark-examples_2.11-2.4.0.jar correspond au nom de la ressource EMR JAR que vous avez téléchargée.

4. Modifiez le code du nœud en ajoutant la commande spark-submit. L'exemple suivant montre le code modifié.

   Important

   • Suivez l'exemple à la lettre. N'ajoutez pas de commentaires, car ils entraîneraient l'échec du nœud.

   • Pour EMR Serverless Spark, vous n'avez pas besoin de définir le paramètre deploy-mode pour la commande spark-submit. Seul le mode cluster est pris en charge.

   ##@resource_reference{"spark-examples_2.11-2.4.0.jar"}
   spark-submit --class org.apache.spark.examples.SparkPi spark-examples_2.11-2.4.0.jar 100

   Commande	Description
   class	Classe principale de l'application dans le fichier JAR. Dans cet exemple, la valeur est org.apache.spark.examples.SparkPi.

   Remarque

   Pour plus d'informations sur les paramètres, consultez la rubrique Soumettre une tâche à l'aide de spark-submit.

Développez la ressource JAR : Cette rubrique utilise SparkWorkOSS-1,0-SNAPSHOT-jar-with-dependencies.jar à titre d'exemple.

Téléchargez la ressource JAR.

1. Connectez-vous à la console OSS. Dans le volet de navigation de gauche, cliquez sur buckets.

2. Cliquez sur le nom du bucket cible pour accéder à la page de gestion des fichiers.

3. Cliquez sur Create Directory pour créer un répertoire destiné à stocker la ressource JAR.

4. Accédez au répertoire et téléchargez le fichier SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar dans le bucket.

Référencez la ressource JAR.

1. Dans l'éditeur de code du nœud Serverless Spark Batch que vous avez créé, écrivez le code permettant de référencer la ressource JAR.

   Important

   Dans le code suivant, le nom du bucket OSS est mybucket et le répertoire est emr. Remplacez-les par vos valeurs réelles.

   spark-submit --class com.aliyun.emr.example.spark.SparkMaxComputeDemo oss://mybucket/emr/SparkWorkOSS-1.0-SNAPSHOT-jar-with-dependencies.jar

   Paramètres :

   Paramètre	Description
   class	Nom complet de la classe principale à exécuter.
   oss chemin du fichier	Le format est oss://{bucket}/{object}. bucket : Conteneur OSS qui stocke les objets. Chaque bucket possède un nom unique. Vous pouvez vous connecter à la console OSS pour afficher tous les buckets associés à votre compte. object : Fichier ou chemin stocké dans un bucket.

   Remarque

   Pour plus d'informations sur les paramètres, consultez la rubrique Soumettre une tâche à l'aide de spark-submit.