O E-MapReduce (EMR) Serverless Spark é compatível com os argumentos de linha de comando do spark-submit, o que simplifica o envio de jobs. Este tópico apresenta um exemplo passo a passo para desenvolver e executar um job do Spark Submit.
Pré-requisitos
Workspace criado. Para mais informações, consulte Gerenciar workspaces.
Aplicação desenvolvida e compilada em um pacote JAR.
Procedimento
Etapa 1: Desenvolver um pacote JAR
Para agilizar o início, este guia fornece um pacote JAR de teste.
Clique em spark-examples_2.12-3.5.2.jar para baixar o pacote JAR de teste.
O arquivo spark-examples_2.12-3.5.2.jar é um exemplo simples incluído no Spark que calcula o valor de Pi (π). Use este pacote JAR com a versão do mecanismo esr-4.x para enviar o job. Se utilizar a versão do mecanismo esr-5.x, baixe o arquivo spark-examples_2.13-4.0.1.jar para concluir as etapas deste guia.
Etapa 2: Carregar o pacote JAR no OSS
Carregue o arquivo spark-examples_2.12-3.5.2.jar no OSS. Para obter instruções, consulte Upload simples.
Etapa 3: Desenvolver e executar o job
Na página do E-MapReduce (EMR) Serverless Spark, clique em Development no painel de navegação à esquerda.
Na aba Development, clique no ícone
.Insira um nome, selecione Application > Spark Submit em Type e clique em OK.
-
Selecione uma fila no canto superior direito.
Para mais informações sobre como adicionar uma fila, consulte Gerenciar filas de recursos.
-
No editor do novo job, configure o parâmetro abaixo e mantenha os demais com as configurações padrão. Em seguida, clique em Run.
Parâmetro
Descrição
Script
Insira seu script do Spark Submit.
Exemplo de código:
--class org.apache.spark.examples.SparkPi \ --conf spark.executor.memory=2g \ oss://<YourBucket>/spark-examples_2.12-3.5.2.jar Na seção Execution Records, na parte inferior, clique em Log Exploration na coluna Actions do job.
-
Na aba Log Exploration, visualize os logs do job.
Selecione a aba driver log > Stdout. A saída do job, como
Pi is roughly 3.1415557077785388, aparece no arquivo stdout.log.
Etapa 4: Publicar o job
É possível usar jobs publicados como tarefas em nós de workflow.
Após a conclusão bem-sucedida do job, clique em Publish no canto superior direito.
Na caixa de diálogo de publicação, insira as informações e clique em OK.
(Opcional) Etapa 5: Visualizar a Spark UI
Após a conclusão bem-sucedida do job, visualize seus detalhes na Spark UI.
No painel de navegação à esquerda, clique em Job History.
-
Na página Application, clique em Spark UI na coluna Actions do job.
A Spark UI abre em uma nova aba com os detalhes do job.
Documentação relacionada
Após publicar um job, agende-o em um workflow. Para mais informações, consulte Gerenciar workflows. Para um exemplo completo do processo de desenvolvimento e orquestração de jobs, consulte Guia de início rápido de desenvolvimento SparkSQL.