DataWorks:Nœud MaxCompute Spark

Présentation

Spark on MaxCompute est un service de calcul fourni par MaxCompute, compatible avec Spark open source. Il offre un framework de calcul Spark basé sur un système unifié de ressources de calcul et d'autorisations. Vous pouvez ainsi soumettre et exécuter des tâches Spark en utilisant des workflows de développement familiers, répondant à divers besoins de traitement et d'analyse des données. Dans DataWorks, utilisez le nœud MaxCompute Spark pour planifier et exécuter des tâches Spark on MaxCompute, et les intégrer à d'autres tâches.

Spark on MaxCompute permet le développement en Java, Scala et Python, et exécute les tâches en mode local ou en mode cluster. Lorsque vous exécutez une tâche hors ligne Spark on MaxCompute dans DataWorks, celle-ci s'exécute en mode cluster. Pour plus d'informations sur les modes d'exécution de Spark on MaxCompute, consultez la section Modes d'exécution.

Prérequis en matière d'autorisations

Pour développer des tâches, les utilisateurs RAM doivent être ajoutés à l'espace de travail correspondant et se voir attribuer le rôle Development ou Workspace Administrator . Le rôle Workspace Administrator inclut de nombreuses autorisations et doit être attribué avec prudence. Pour savoir comment ajouter un membre à un espace de travail, consultez la page Ajouter des membres à un espace de travail.

Limites

Si vous rencontrez une erreur lors de la soumission d'un nœud MaxCompute Spark utilisant Spark 3.x, vous devez acheter et utiliser un groupe de ressources serverless. Pour plus d'informations, consultez la page Utiliser un groupe de ressources serverless.

Avant de commencer

Le nœud MaxCompute Spark prend en charge l'exécution de tâches hors ligne Spark on MaxCompute à l'aide de Java/Scala et de Python. Les étapes de développement et l'interface de configuration diffèrent selon le langage. Choisissez un langage en fonction de vos besoins métier.

Paramètres

DataWorks exécute les tâches hors ligne Spark on MaxCompute en mode Cluster. En mode Cluster, vous devez spécifier un point d'entrée de programme personnalisé main. La tâche Spark correspondante se termine lorsque la fonction main se termine avec un statut Success ou Fail. De plus, ajoutez les configurations du fichier spark-defaults.conf une par une aux configurations du nœud MaxCompute Spark. Cela inclut, par exemple, le nombre d'executor s, la taille de la mémoire et la configuration spark.hadoop.odps.runtime.end.point.

Procédure

1. Créez une ressource.

   1. Dans la barre de navigation de gauche de la page Data Studio, recherchez Resource Management et cliquez sur Create. Créez une ressource Python de type MaxCompute Spark et nommez-la spark_is_number.py. Pour plus d'informations, consultez la page Gestion des ressources. Le code est le suivant :

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
          return False
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Enregistrez la ressource.

2. Dans le nœud MaxCompute Spark créé, configurez les paramètres du nœud et les paramètres de planification. Pour plus d'informations, consultez la section Paramètres.

3. Pour exécuter la tâche selon une planification, configurez ses propriétés de planification en fonction de vos besoins métier. Pour plus d'informations, consultez la page Configuration de la planification des nœuds.

4. Une fois la tâche du nœud configurée, déployez le nœud. Pour plus d'informations, consultez la page Déployer des nœuds/workflows.

5. Après le déploiement de la tâche, accédez à Operation Center pour consulter l'état d'exécution de la tâche périodique. Pour plus d'informations, consultez la page Prise en main d'Operation Center.

   Remarque

   • Les nœuds MaxCompute Spark ne disposent pas de point d'entrée d'exécution dans Data Studio. Vous devez exécuter les tâches Spark dans Operation Center, dans l'environnement de développement.

   • Une fois l'instance de remplissage des données exécutée avec succès, ouvrez l'URL de suivi dans le journal d'exécution de l'instance pour afficher le résultat.

Références

• Pour plus d'informations sur le développement de tâches Spark on MaxCompute pour d'autres cas d'utilisation, consultez les rubriques suivantes :

  • Exemple Java/Scala : Spark 1.x

  • Exemple Java/Scala : Spark 2.x

  • Exemple Python : Développement PySpark

  • Cas d'utilisation : Accéder à une instance VPC depuis Spark

  • Cas d'utilisation : Accéder à OSS depuis Spark

• FAQ Spark : Trouvez des solutions aux problèmes d'exécution courants de Spark pour accélérer le dépannage. Pour plus d'informations, consultez la page FAQ Spark.

• Diagnostic des tâches Spark : MaxCompute fournit l'outil Logview et l'interface web Spark. Utilisez les journaux des tâches pour vérifier qu'une tâche est soumise et s'exécute correctement. Pour plus d'informations, consultez la page Diagnostic des tâches Spark.