DataWorks:Crie um nó EMR Spark

Pacote JAR menor que 500 MB

1. Crie um recurso JAR do EMR.

   Este método permite o gerenciamento visual de recursos no console do DataWorks. Após criar o recurso, envie-o. Para mais informações, consulte Create and use EMR resources.

   Na caixa de diálogo Create Resource, defina Engine Type como EMR e selecione uma Engine Instance. Defina Resource Type como EMR JAR, especifique o Path e selecione Upload as EMR Resource. Escolha um tipo de Storage Path (OSS One-click Authorization ou HDFS). Defina File Source como Local e clique em Upload para enviar o arquivo. Especifique um Name para o recurso, que deve terminar com .jar, e clique em Create.

   Nota

   Ao criar um recurso EMR para armazenamento no OSS pela primeira vez, autorize o acesso conforme solicitado.

2. Referencie o recurso JAR do EMR.

   1. Clique duas vezes no nó EMR Spark para abrir o editor de código.

   2. Na árvore de navegação à esquerda, escolha EMR > Resources. Encontre o recurso JAR do EMR, clique com o botão direito nele e selecione Insert Resource Path.

   3. Após a referência, o sistema adiciona automaticamente um trecho de código ao editor do nó. O exemplo a seguir ilustra esse trecho.

      ##@resource_reference{"spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar"}
      spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar

      A presença desse trecho indica a referência ao recurso. No código anterior, spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar é o nome do recurso JAR do EMR enviado.

   4. Modifique o código do nó EMR Spark e adicione um comando spark-submit, conforme o exemplo a seguir.

      Nota

      O editor de código para nós EMR Spark não aceita comentários. Modifique o código do job com base no exemplo a seguir e não adicione comentários; caso contrário, ocorrerá um erro durante a execução do nó.

      ##@resource_reference{"spark-examples_2.11-2.4.0.jar"}
      spark-submit --class org.apache.spark.examples.SparkPi --master yarn  spark-examples_2.11-2.4.0.jar 100

      A tabela a seguir descreve os parâmetros.

      • org.apache.spark.examples.SparkPi: a classe principal do job no pacote JAR compilado.

      • spark-examples_2.11-2.4.0.jar: o nome do recurso JAR do EMR enviado.

      • Mantenha os demais parâmetros como no exemplo acima ou execute o comando a seguir para visualizar a ajuda do spark submit e modifique-o conforme necessário.

        Nota

        • Para usar parâmetros simplificados do comando spark-submit em um nó Spark, adicione-os ao código. Exemplo: --executor-memory 2G.

        • Os nós Spark aceitam o envio de jobs apenas no modo de cluster YARN.

        • Para jobs enviados com o comando spark-submit, defina o parâmetro do modo de implantação como cluster, e não client.

        spark-submit --help

        spark-submit --help
        Process Output>>>
        Process Output>>> Options:
        Process Output>>>       --master MASTER_URL         spark://host:port, mesos://host:port, yarn,
        Process Output>>>                                   k8s://https://host:port, or local (Default: local[*]).
        Process Output>>>       --deploy-mode DEPLOY_MODE   Whether to launch the driver program locally ("client") or
        Process Output>>>                                   on one of the worker machines inside the cluster ("cluster")
        Process Output>>>                                   (Default: client).
        Process Output>>>       --class CLASS_NAME          Your application's main class (for Java / Scala apps).
        Process Output>>>       --name NAME                 A name of your application.
        Process Output>>>       --jars JARS                 Comma-separated list of jars to include on the driver
        Process Output>>>                                   and executor classpaths.
        Process Output>>>       --packages                  Comma-separated list of maven coordinates of jars to include
        Process Output>>>                                   on the driver and executor classpaths. Will search the local
        Process Output>>>                                   maven repo, then maven central and any additional remote
        Process Output>>>                                   repositories given by --repositories. The format for the
        Process Output>>>                                   coordinates should be groupId:artifactId:version.
        Process Output>>>       --exclude-packages          Comma-separated list of groupId:artifactId, to exclude while
        Process Output>>>                                   resolving the dependencies provided in --packages to avoid
        Process Output>>>                                   dependency conflicts.
        Process Output>>>       --repositories              Comma-separated list of additional remote repositories to
        Process Output>>>                                   search for the maven coordinates given with --packages.
        Process Output>>>       --py-files PY_FILES         Comma-separated list of .zip, .egg, or .py files to place
        Process Output>>>                                   on the PYTHONPATH for Python apps.
        Process Output>>>       --files FILES               Comma-separated list of files to be placed in the working
        Process Output>>>                                   directory of each executor. File paths of these files

Pacote JAR de 500 MB ou maior

1. Crie um recurso JAR do EMR.

   Se o pacote JAR tiver 500 MB ou mais, não será possível fazer o upload dele do computador local como recurso do DataWorks. Armazene o pacote JAR no HDFS do cluster EMR e registre o caminho de armazenamento para referenciar o pacote ao agendar o job Spark.

2. Referencie o recurso JAR do EMR.

   Se o pacote JAR estiver no HDFS, referencie-o diretamente ao especificar o caminho no código do nó EMR Spark.

   1. Clique duas vezes no nó EMR Spark criado para abrir o editor de código.

   2. Escreva um comando spark-submit, conforme o exemplo a seguir.

      spark-submit --master yarn
      --deploy-mode cluster
      --name SparkPi
      --driver-memory 4G
      --driver-cores 1
      --num-executors 5
      --executor-memory 4G
      --executor-cores 1
      --class org.apache.spark.examples.JavaSparkPi
      hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100

      A tabela a seguir descreve os parâmetros.

      • hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar: o caminho do pacote JAR no HDFS.

      • org.apache.spark.examples.JavaSparkPi: a classe principal do job no pacote JAR compilado.

      • Os demais parâmetros pertencem ao cluster EMR e devem ser modificados conforme os requisitos do negócio. Execute o comando a seguir para visualizar a ajuda do spark-submit e modifique-o conforme necessário.

        Importante

        • Para usar parâmetros simplificados do comando Spark-submit em um nó Spark, adicione-os ao código. Exemplo: --executor-memory 2G.

        • Os nós Spark aceitam o envio de jobs apenas no modo de cluster YARN.

        • Para jobs enviados com o comando spark-submit, defina o parâmetro do modo de implantação como cluster, e não client.

        spark-submit --help

Cluster DataLake ou personalizado: EMR on ECS

Cluster EMR Serverless Spark

Para mais informações sobre como configurar parâmetros, consulte Configure parameters for a Spark job.

Cluster Spark: EMR on ACK

Cluster Hadoop: EMR on ECS