DataWorks:Crear un nodo EMR Spark

Paquete JAR menor a 500 MB

1. Cree un recurso JAR de EMR.

   Este método permite gestionar los recursos de forma visual en la consola de DataWorks. Una vez creado el recurso, confírmelo. Para obtener más información, consulte Create and use EMR resources.

   En el cuadro de diálogo Create Resource, establezca Engine Type en EMR y seleccione una Engine Instance. Establezca Resource Type en EMR JAR, especifique la Path y seleccione Upload as EMR Resource. Elija un tipo de Storage Path, que puede ser OSS One-click Authorization o HDFS. Establezca File Source en Local y haga clic en Upload para cargar el archivo. Especifique un Name para el recurso. El nombre de un recurso JAR debe terminar en .jar. Luego, haga clic en Create.

   Nota

   La primera vez que cree un recurso de EMR para almacenarlo en OSS, deberá autorizar el acceso siguiendo las indicaciones del sistema.

2. Haga referencia al recurso JAR de EMR.

   1. Haga doble clic en el nodo EMR Spark para abrir su editor de código.

   2. En el árbol de navegación izquierdo, elija EMR > Resources. Busque su recurso JAR de EMR, haga clic con el botón secundario sobre él y seleccione Insert Resource Path.

   3. Al hacer referencia al recurso, el sistema agrega automáticamente un fragmento de código de referencia al editor del nodo. A continuación se muestra un ejemplo.

      ##@resource_reference{"spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar"}
      spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar

      La presencia de este fragmento indica que se hizo referencia al recurso. En el código anterior, spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar es el nombre del recurso JAR de EMR que se cargó.

   4. Modifique el código del nodo EMR Spark y agregue un comando spark-submit. A continuación se muestra un ejemplo.

      Nota

      El editor de código de los nodos EMR Spark no admite comentarios. Modifique el código del trabajo basándose en el siguiente ejemplo. No agregue comentarios; de lo contrario, se producirá un error cuando se ejecute el nodo.

      ##@resource_reference{"spark-examples_2.11-2.4.0.jar"}
      spark-submit --class org.apache.spark.examples.SparkPi --master yarn  spark-examples_2.11-2.4.0.jar 100

      A continuación se describen los parámetros.

      • org.apache.spark.examples.SparkPi: la clase principal del trabajo en el paquete JAR compilado.

      • spark-examples_2.11-2.4.0.jar: el nombre del recurso JAR de EMR que cargó.

      • Puede dejar los demás parámetros tal como aparecen en el ejemplo anterior. También puede ejecutar el siguiente comando para consultar la ayuda de spark submit y modificar el comando spark submit según sea necesario.

        Nota

        • Si desea usar parámetros simplificados del comando spark-submit en un nodo de Spark, debe agregarlos al código. Ejemplo: --executor-memory 2G.

        • Los nodos de Spark solo admiten el envío de trabajos en modo de clúster YARN.

        • Para los trabajos enviados mediante el comando spark-submit, establezca el parámetro de modo de despliegue en cluster, no en client.

        spark-submit --help

        spark-submit --help
        Process Output>>>
        Process Output>>> Options:
        Process Output>>>       --master MASTER_URL         spark://host:port, mesos://host:port, yarn,
        Process Output>>>                                   k8s://https://host:port, or local (Default: local[*]).
        Process Output>>>       --deploy-mode DEPLOY_MODE   Whether to launch the driver program locally ("client") or
        Process Output>>>                                   on one of the worker machines inside the cluster ("cluster")
        Process Output>>>                                   (Default: client).
        Process Output>>>       --class CLASS_NAME          Your application's main class (for Java / Scala apps).
        Process Output>>>       --name NAME                 A name of your application.
        Process Output>>>       --jars JARS                 Comma-separated list of jars to include on the driver
        Process Output>>>                                   and executor classpaths.
        Process Output>>>       --packages                  Comma-separated list of maven coordinates of jars to include
        Process Output>>>                                   on the driver and executor classpaths. Will search the local
        Process Output>>>                                   maven repo, then maven central and any additional remote
        Process Output>>>                                   repositories given by --repositories. The format for the
        Process Output>>>                                   coordinates should be groupId:artifactId:version.
        Process Output>>>       --exclude-packages          Comma-separated list of groupId:artifactId, to exclude while
        Process Output>>>                                   resolving the dependencies provided in --packages to avoid
        Process Output>>>                                   dependency conflicts.
        Process Output>>>       --repositories              Comma-separated list of additional remote repositories to
        Process Output>>>                                   search for the maven coordinates given with --packages.
        Process Output>>>       --py-files PY_FILES         Comma-separated list of .zip, .egg, or .py files to place
        Process Output>>>                                   on the PYTHONPATH for Python apps.
        Process Output>>>       --files FILES               Comma-separated list of files to be placed in the working
        Process Output>>>                                   directory of each executor. File paths of these files

Paquete JAR de 500 MB o mayor

1. Cree un recurso JAR de EMR.

   Si un paquete JAR tiene un tamaño de 500 MB o mayor, no se puede cargar desde su computadora local como recurso de DataWorks. Almacene el paquete JAR en el sistema HDFS de su clúster de EMR y registre su ruta de almacenamiento. Luego podrá usar esa ruta para hacer referencia al paquete cuando programe el trabajo de Spark.

2. Haga referencia al recurso JAR de EMR.

   Si el paquete JAR está almacenado en HDFS, haga referencia a él directamente especificando su ruta en el código del nodo EMR Spark.

   1. Haga doble clic en el nodo EMR Spark creado para abrir su editor de código.

   2. Escriba un comando spark-submit. A continuación se muestra un ejemplo.

      spark-submit --master yarn
      --deploy-mode cluster
      --name SparkPi
      --driver-memory 4G
      --driver-cores 1
      --num-executors 5
      --executor-memory 4G
      --executor-cores 1
      --class org.apache.spark.examples.JavaSparkPi
      hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100

      A continuación se describen los parámetros.

      • hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar: la ruta del paquete JAR en HDFS.

      • org.apache.spark.examples.JavaSparkPi: la clase principal del trabajo en el paquete JAR compilado.

      • Los demás parámetros corresponden al clúster de EMR y deben modificarse según sus necesidades de negocio. También puede ejecutar el siguiente comando para consultar la información de ayuda del comando spark-submit y modificarlo según sea necesario.

        Importante

        • Si desea usar parámetros simplificados del comando Spark-submit en un nodo de Spark, debe agregarlos al código. Ejemplo: --executor-memory 2G.

        • Los nodos de Spark solo admiten el envío de trabajos en modo de clúster YARN.

        • Para los trabajos enviados mediante el comando spark-submit, establezca el parámetro de modo de despliegue en cluster, no en client.

        spark-submit --help

Clúster DataLake o personalizado: EMR on ECS

Clúster serverless de EMR Spark

Para obtener más información sobre cómo configurar los parámetros, consulte Configure parameters for a Spark job.

Clúster de Spark: EMR on ACK

Clúster de Hadoop: EMR on ECS