DataWorks:Développer une tâche MaxCompute Spark

Présentation

Spark on MaxCompute est un service de calcul MaxCompute compatible avec la version open source de Spark. Il fournit un framework de calcul Spark reposant sur des ressources de calcul unifiées et un système d'autorisations pour les jeux de données. Dans DataWorks, vous pouvez utiliser un nœud MaxCompute Spark pour planifier et exécuter des tâches Spark on MaxCompute, et les intégrer à d'autres tâches.

Spark on MaxCompute prend en charge le développement en Java, Scala et Python, et exécute les tâches en mode local ou en mode cluster. Dans DataWorks, les tâches hors ligne Spark on MaxCompute s'exécutent en mode cluster. Pour plus d'informations sur les modes d'exécution, consultez Modes d'exécution.

Limites

Si une erreur se produit lors de la validation d'un nœud ODPS Spark utilisant la version Spark 3.X, achetez un groupe de ressources serverless. Pour plus d'informations, reportez-vous à Créer et utiliser un groupe de ressources serverless.

Prérequis

Un nœud MaxCompute Spark prend en charge Java/Scala et Python. Les étapes de développement et le processus de configuration diffèrent selon le langage utilisé.

Description des paramètres

DataWorks exécute les tâches Spark on MaxCompute hors ligne en mode cluster. Vous devez spécifier le point d'entrée de votre application dans la main méthode. La tâche se termine lorsque l'exécution de la main méthode est achevée, avec un statut Success ou Fail. Vous devez également ajouter individuellement chaque configuration issue du fichier spark-defaults.conf au nœud MaxCompute Spark, telles que le nombre d'instances executor, la taille de la mémoire et la configuration spark.hadoop.odps.runtime.end.point.

Exemple simple d'édition de code

L'exemple suivant utilise un nœud ODPS Spark pour développer une tâche Spark on MaxCompute. Dans cet exemple, la tâche détermine si une chaîne peut être convertie en chiffres.

1. Créez une ressource.

   1. Sur la page DataStudio, créez une nouvelle ressource Python et nommez-la spark_is_number.py. Pour plus d'informations, consultez Créer et utiliser des ressources MaxCompute. Utilisez le code suivant :

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
          return False
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Enregistrez et validez la ressource.

2. Dans le nœud ODPS Spark créé, configurez les paramètres et les propriétés de planification de la tâche MaxCompute Spark en vous référant à la section Description des paramètres de cette rubrique, puis enregistrez et validez le nœud.

   |
   **Paramètre**
   |
   **Description**
   | | --- | --- | |
   Version Spark
   |
   Sélectionnez Spark2.x.
   | |
   Langage
   |
   Sélectionnez Python.
   | |
   Ressource Python principale
   |
   La ressource Python **spark_is_number.py** que vous avez créée.
   |
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   

3. Accédez au centre d'opérations dans l'environnement de développement pour effectuer un remplissage des données pour le nœud ODPS Spark. Pour plus d'informations, consultez Remplir les données et afficher les instances de remplissage des données (nouvelle version).

   Remarque

   DataWorks ne fournit pas de points d'entrée pour exécuter les nœuds ODPS Spark dans DataStudio. Vous devez exécuter les nœuds ODPS Spark dans le centre d'opérations de l'environnement de développement.

4. Consultez le résultat.

   Une fois l'instance de remplissage des données exécutée avec succès, cliquez sur tracking URL dans les journaux d'exécution générés pour afficher le résultat. Les informations suivantes sont renvoyées :

   False
   True
   True
   True
   True

Exemples avancés d'édition de code

Pour le développement Spark on MaxCompute dans d'autres scénarios, consultez les rubriques suivantes :

• Exemples Spark 1.x pour Java ou Scala

• Exemples Spark 2.x pour Java ou Scala

• Développer une application Spark on MaxCompute à l'aide de PySpark

• Accéder aux instances d'un VPC depuis Spark on MaxCompute

• Accéder à OSS depuis Spark on MaxCompute

Étapes suivantes

Après avoir développé la tâche Spark on MaxCompute, vous pouvez effectuer les opérations suivantes :

• Configuration de la planification : configurez les propriétés de planification périodique, telles que les paramètres de réexécution et les dépendances pour les tâches qui s'exécutent régulièrement. Présentation de la configuration de la planification des tâches.

• Débogage des tâches : testez et exécutez le code du nœud pour vérifier sa logique. Processus de débogage des tâches.

• Déploiement des tâches : déployez les nœuds pour les exécuter périodiquement en fonction de leurs configurations de planification. Déployer des tâches.

• Activer le diagnostic des tâches Spark par le système : MaxCompute fournit l'outil Logview et l'interface utilisateur Web Spark. Vous pouvez consulter les journaux des tâches Spark pour vérifier si les tâches sont soumises et exécutées comme prévu.