O EMR Serverless Spark é compatível com os argumentos de linha de comando do spark-submit, o que simplifica o envio de jobs. Este guia orienta você no desenvolvimento e na execução de um job Spark Submit.
Pré-requisitos
Crie um workspace. Para mais informações, consulte Manage workspaces.
Desenvolva sua aplicação e compile-a em um pacote JAR.
Procedimento
Etapa 1: Obter um pacote JAR
Este guia fornece um pacote JAR de teste para início rápido.
Clique em spark-examples_2.12-3.5.2.jar para baixar o pacote JAR de teste.
O arquivo spark-examples_2.12-3.5.2.jar é um exemplo simples incluído no Spark que calcula o valor de Pi (π). Use este pacote JAR com a versão do mecanismo esr-4.x para enviar o job. Se utilizar a versão do mecanismo esr-5.x, baixe o arquivo spark-examples_2.13-4.0.1.jar para concluir as etapas deste guia.
Etapa 2: Carregar o pacote JAR no OSS
Carregue o arquivo spark-examples_2.12-3.5.2.jar no OSS. Para obter instruções, consulte Simple upload.
Etapa 3: Desenvolver e executar o job
Na página E-MapReduce (EMR) Serverless Spark, clique em Development no painel de navegação à esquerda.
Na aba Development, clique no ícone
.Insira um nome, selecione Application > Spark Submit como Type e clique em OK.
-
Selecione uma fila no canto superior direito.
Para mais detalhes sobre como adicionar uma fila, consulte Manage resource queues.
-
No editor do novo job, configure o parâmetro abaixo e mantenha os demais com as configurações padrão. Em seguida, clique em Run.
Parâmetro
Descrição
Script
Insira seu script Spark Submit.
O código a seguir apresenta um exemplo:
--class org.apache.spark.examples.SparkPi \ --conf spark.executor.memory=2g \ oss://<YourBucket>/spark-examples_2.12-3.5.2.jar Na seção Execution Records na parte inferior, clique em Log Exploration na coluna Actions do job.
-
Na aba Log Exploration, visualize os logs do job.
Selecione a aba driver log > Stdout. A saída do job, como
Pi is roughly 3.1415557077785388, aparece no arquivo stdout.log.
Etapa 4: Publicar o job
É possível utilizar jobs publicados como tarefas em nós de workflow.
Após a conclusão bem-sucedida do job, clique em Publish no canto superior direito.
Na caixa de diálogo de publicação, insira as informações necessárias e clique em OK.
(Opcional) Etapa 5: Visualizar a Spark UI
Após a conclusão bem-sucedida do job, consulte seus detalhes na Spark UI.
No painel de navegação à esquerda, clique em Job History.
-
Na página Application, clique em Spark UI na coluna Actions correspondente ao job.
A Spark UI será aberta em uma nova aba com os detalhes do job.
Documentação relacionada
Após publicar um job, é possível agendá-lo em um workflow. Para mais informações, consulte Manage workflows. Para um exemplo completo do processo de desenvolvimento e orquestração de jobs, consulte SparkSQL development quick start.