MaxCompute:Desarrollo de una tarea de MaxCompute Spark

Descripción general

Spark on MaxCompute es un servicio de cómputo de MaxCompute compatible con Spark de código abierto. Proporciona un framework de cómputo de Spark sobre recursos de cómputo unificados y un sistema de permisos para conjuntos de datos. En DataWorks, utilice un nodo de MaxCompute Spark para programar y ejecutar tareas de Spark on MaxCompute, así como para integrarlas con otras tareas.

Spark on MaxCompute admite el desarrollo en Java, Scala y Python. Además, ejecuta las tareas en modo local o en modo clúster. En DataWorks, las tareas sin conexión de Spark on MaxCompute se ejecutan en modo clúster. Para obtener más información sobre los modos de ejecución, consulte Run modes.

Límites

Si se reporta un error al enviar un nodo ODPS Spark que utiliza la versión Spark 3.X, adquiera un serverless resource group. Para obtener más información, consulte Create and use a serverless resource group.

Preparativos

Un nodo de MaxCompute Spark es compatible con Java/Scala y Python. Los pasos de desarrollo y el proceso de configuración varían según el lenguaje.

Descripción de los parámetros

DataWorks ejecuta las tareas sin conexión de Spark on MaxCompute en modo clúster. Especifique el punto de entrada de su aplicación en el método main. La tarea finaliza cuando termina la ejecución del método main, con un estado Success o Fail. Agregue también cada configuración del archivo spark-defaults.conf de manera individual al nodo de MaxCompute Spark; por ejemplo, el número de instancias de executor, el tamaño de memoria y la configuración spark.hadoop.odps.runtime.end.point.

Ejemplo básico de edición de código

En el siguiente ejemplo se utiliza un nodo ODPS Spark para desarrollar una tarea de Spark on MaxCompute. En este caso, la tarea determina si una cadena de texto se puede convertir en dígitos.

1. Cree un recurso.

   1. En la página DataStudio, cree un nuevo recurso de Python y asígnele el nombre spark_is_number.py. Para obtener más información, consulte Create and use MaxCompute resources. Utilice el siguiente código:

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
          return False
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Guarde y envíe el recurso.

2. En el nodo ODPS Spark creado, configure los parámetros y las propiedades de programación de la tarea de MaxCompute Spark con base en la sección Descriptions of parameters de este tema. Luego, guarde y envíe el nodo.

   Parámetro	Descripción
   Spark Version	Seleccione Spark2.x.
   Language	Seleccione Python.
   Main Python Resource	El recurso de Python spark_is_number.py que creó.

3. Vaya a Operation Center en el entorno de desarrollo para rellenar datos del nodo ODPS Spark. Para obtener más información, consulte Backfill data and view data backfill instances (new version).

   Nota

   DataWorks no ofrece puntos de entrada para ejecutar nodos ODPS Spark en DataStudio. Estos nodos deben ejecutarse en Operation Center dentro del entorno de desarrollo.

4. Consulte el resultado.

   Cuando la instancia de relleno de datos se ejecute correctamente, haga clic en tracking URL en los registros generados para consultar el resultado. Se devuelve la siguiente información:

   False
   True
   True
   True
   True

Ejemplos avanzados de edición de código

Para desarrollar con Spark on MaxCompute en otros escenarios, consulte los siguientes temas:

• Spark 1.x examples for Java or Scala

• Spark 2.x examples for Java or Scala

• Develop a Spark on MaxCompute application by using PySpark

• Access instances in a VPC from Spark on MaxCompute

• Access OSS from Spark on MaxCompute

Pasos siguientes

Una vez desarrollada la tarea de Spark on MaxCompute, realice las siguientes operaciones:

• Configuración de programación: establezca propiedades de programación periódica, como los ajustes de reejecución y las dependencias, para las tareas que se ejecutan de forma regular. Overview of task scheduling configuration.

• Depuración de tareas: pruebe y ejecute el código del nodo para comprobar su lógica. Task debugging process.

• Despliegue de tareas: despliegue los nodos para que se ejecuten periódicamente según su configuración de programación. Deploy tasks.

• Enable the system to diagnose Spark tasks: MaxCompute proporciona la herramienta Logview y Spark Web UI. Consulte los registros de las tareas de Spark para comprobar si se enviaron y ejecutaron según lo previsto.